Хватит сливать данные в Claude и GPT: как поднять свой on‑prem LLM

Wait 5 sec.

Представим на секунду, что есть проблема, которую над срочно пофиксить, в рабочем чате никто не отвечает, инженер, на котором висит этот проект недоступен. Ну и чтобы сделать все быстро и эффективно сотрудник берет репозиторий, закидывает в ChatGPT вместе со всеми чувствительными данными, оставив все.env файлы. И вот через минуту у него уже готовое результат, а у OpenAI уже есть все продовые креды данного проекта. Но ни у кого не было цели слить данные, был инженер со срочной задачей для которой он нашел самое быстрое решение. И в этот момент главное не совершить ошибку: нужно не запрещать, а предлагать альтернативу. Люди все равно будут пользоваться агентами, просто возможно после запрета, они будут делать это незаметно. В этой статье предлагаю разобраться почему сегодня это явление приобретает такой массовый характер, почему просто запретить — не выход, чем аренда GPU у облочного провайдера отличается от on‑prem и как развернуть инференс внутри команды, чтобы инженеры не порывались слить данные. Читать далее