Недавно широкий резонанс вызвал анализ стиля письма 22 ведущих языковых моделей искусственного интеллекта. Исследователи с помощью статистического инструмента Fable провели сравнение исходных текстовых ответов моделей на одну и ту же серию тестовых заданий с использованием показателя перекрестной энтропии. Результаты показали, что не только модели, разработанные в одной лаборатории, имеют очень схожий стиль письма, но и некоторые модели из разных лабораторий демонстрируют необычайно схожие языковые особенности.Исследователи объединили ответы каждой модели на все тестовые задания в единый текстовый корпус и рассчитали вероятностное распределение на основе триадов символов (то есть скользящих окон, состоящих из каждых трех последовательных символов), что позволило создать уникальную «модель языкового стиля» для каждой модели.Хотя этот метод относится к базовым технологиям языкового моделирования, он основан на тысячах образцов и гораздо лучше отражает внутренние языковые привычки модели, чем простое оценивание.В исследовании подчеркивается, что данный анализ сравнивает исключительно языковые стили, включая лексические привычки, предпочтения в форматировании, стилистические регистры и т. д., и не затрагивает содержание позиций или точек зрения моделей.Исследователи ожидают, что модели одного производителя будут иметь схожий стиль из-за общих корней в обучающих данных, но при этом признают потенциальное влияние переменных, связанных с избыточностью данныхКритерием определения сходства между лабораториями служит следующее: если разброс стилей пары моделей из разных лабораторий меньше медианы разброса пар моделей из одной лаборатории в наборе данных, то срабатывает предупреждение. Этот порог определяется исключительно самими данными, без какого-либо искусственного вмешательства. Читать далее