Попросить LLM-агента типа Claude Code "сходи в интернет и собери мне данные" - это как играть в казино. Иногда везет, и ты получаешь то что искал. А иногда сжигаешь половину дневного лимита на двух сайтах, упираешься в антибот защиту и в итоге получаешь кашу из тегов вперемешку с куском нужного контента.Любой, кто пробовал натравить LLM-агента на сайт, знает это чувство: даешь простую задачу - собери данные с такой-то страницы. Агент бодро рапортует, что работа кипит. Проходит минута, две, он пошел по соседним ссылкам, начал сам что-то искать, что-то быстро перебирает, и в итоге половину сайтов он не смог открыть, половина второй половины - это мусор и только крупица нужной информации.В этой статье я предложу вам один способ, которым пользуюсь сам и который хорошо (почти всегда) решает эту проблему. Читать далее