В 2017 году в мире нейросетей произошел почти незаметный переворот. Без громких презентаций и человекоподобных роботов исследователи из Google опубликовали статью с очень скромным названием — Attention is All You Need. Но именно после нее индустрия ИИ фактически разделилась на «до» и «после».Сегодня на трансформерах работают ChatGPT, Claude, Gemini, Midjourney и почти весь современный генеративный ИИ. И самое странное в этой истории — фундаментом революции стала одна из самых простых операций линейной алгебры: скалярное произведение векторов.Не новая архитектура памяти.Не сложная логика вывода.Не биологически правдоподобная модель мозга.А обычное перемножение чисел с последующим сложением.Но чтобы понять, почему именно эта операция оказалась настолько мощной, нужно сначала вспомнить, в какую стену уперлись нейросети старого поколения. Читать далее