Когда-то программные системы строились как монолиты. Огромные, неповоротливые, требующие много ресурсов и постоянного внимания. Сегодня мир ИТ массово переходит на микросервисную архитектуру. Подобный сценарий вполне реален и в мире искусственного интеллекта, особенно в области больших языковых моделей (LLM).Сейчас мы наблюдаем впечатляющий рост моделей вроде GPT-4 с сотнями миллиардов параметров. Их возможности завораживают, но и издержки огромны: дорогие вычисления, высокие задержки и огромный углеродный след. Возникает вопрос: действительно ли будущее за такими гигантами? Читать далее