Сэм Альтман, руководитель компании OpenAI:«Локальный инференс — это крайне неэффективное распределение дефицитных ресурсов. Многие хотят использовать локальный инференс, полагая, что раз появились модели с открытым исходным кодом, которые можно запускать на собственных компьютерах, то необходимость в мощностях дата-центров отпадает. Однако, если смотреть на ситуацию в глобальном масштабе, это крайне нерационально: значительная часть мирового запаса оперативной памяти (DRAM) оказывается «запертой» на пользовательских компьютерах, где она используется лишь пять процентов времени. В условиях жесткого дефицита ресурсов необходимо стремиться к максимальной загрузке мощностей в облаке.» Что удивительно, не правда ли?