Как правильно выбирать задачи для LLM и избегать архитектурных ошибок

Wait 5 sec.

Эта статья - для двух категорий читателей.Первая - те, кто начинает внедрять LLM в рабочий проект. Демо уже работает, руководитель уже видел скриншоты, и теперь предстоит превратить это в систему, которая переживёт контакт с реальными пользователями, реальными данными и реальным бюджетом. Здесь собраны правила, которые помогают не переделывать архитектуру через два месяца.Вторая - те, кто уже глубоко погружён в тему. Вы разбираетесь в устройстве моделей, следите за релизами, умеете выжать качество из промпта и знаете, чем один режим вывода отличается от другого. И именно поэтому иногда теряете из виду простой вопрос: а должна ли модель вообще заниматься этой частью задачи? Умение настроить модель и умение определить её место в системе - разные навыки.Основная мысль текста: LLM - это переводчик между человеческим текстом и строгими структурами данных, а не ядро системы. Всё остальное - следствия этого правила.Если вы уже не согласны, возможно, вам не стоит читать дальше и стоит простить автору его субъективное мнение.Что будет в статьеЧетыре признака задач, где LLM действительно уместна.Шесть антипаттернов, которые чаще всего ломают внедрение.Принцип проектирования ответа модели, который можно проверить кодом перед тем как использовать.Пять разобранных примеров связки “LLM + программный код”: от безопасных запросов к базе до многоступенчатой проверки сумм в договорах и контроля ответов RAG над корпоративной базой знаний.Чек-лист из пяти пунктов, который можно приложить к ревью архитектуры.Чего в статье не будетСравнений моделей, бенчмарков и обзоров фреймворков - всё это устареет быстрее, чем текст.Техник промптинга и рецептов “как лучше попросить”.Разбора устройства трансформеров, обучения и дообучения моделей.Пошаговой инструкции по построению поиска по базе знаний: выбор хранилища, нарезка документов, подбор моделей для поиска.Исчерпывающего каталога атак и способов защиты - здесь показан принцип, а не полный справочник по безопасности.Готовой библиотеки и репозитория с кодом.Об ожиданияхЭто инженерный текст, а не научная публикация. Здесь нет доказательств каждого утверждения и ссылок на исследования. Часть формулировок намеренно категорична: правило, которое запоминается и применяется на ревью, полезнее точной, но неиспользуемой оговорки.Примеры упрощены до сути. Они показывают принцип, а не промышленный код: таймауты, повторы и логирование вы добавите сами, под свой стек.Правила описывают типичную ситуацию, а не все возможные. Если вы знаете частный случай, где рекомендация не работает, - скорее всего, так и есть. Это не повод выбрасывать правило, это повод знать его границы.Цель текста простая: чтобы после прочтения вы могли посмотреть на архитектуру своей системы и сказать - вот это отдаём модели, вот это оставляем коду, а вот здесь нужен валидатор, - и внятно объяснить, почему именно так. Читать далее