Ни для кого не секрет, что языковые модели врут, и врут очень убедительно, часто даже с подробностями. Еще год назад если бы вы попросили у LLM ссылку на исследование, то получили бы статью, которую никто не писал. Спросили бы про метод библиотеки, и модель расписала бы его аргументы, хотя такого метода там не было. С этим продолжают бороться всем миром: привязывают модели к базам знаний, обвешивают скиллами, пишут в промпте «отвечай только по контексту». Помогает это отчасти. Выдумка все равно просачивается туда, где модели не хватило фактов.А теперь давайте вывернем вопрос наизнанку. Бывают ли задачи, где правдоподобная выдумка нужна сама по себе? Бывают, и их немало, например: тестовые данные для программ, наполнение игровых миров, ловушки для взломщиков. На последних остановлюсь подробнее. Читать далее