Представьте: пятница, вечер, вам пишет коллега и жалуется, что модель стала отвечать очень долго. Вы открываете мониторинг и видите на дашборде две реплики одной модели. У первой GPU загружен практически полностью и копится очередь, а вторая реплика почти простаивает. При этом балансировщик продолжает исправно распределять запросы равномерно. Рассказываем, почему при работе с LLM такой подход не работает и как модуль alb в Deckhouse Platform решает эту проблему с помощью Gateway API Inference Extension. Читать далее