12 июня 2017 года группой битломанов из Google была опубликована статья под названием "Attention Is All You Need", в которой миру впервые были представлены трансформеры — новый тип нейронных сетей, которые обрабатывали всё, везде и сразу.Эту дату можно считать началом ИИ-революции, которую мы сейчас наблюдаем. Нам кажется, что все произошло практически мгновенно — однако девять лет уже пролетело!Вся фишка была в механизме внимания. С математической точки зрения это матрица весов связности между элементами данных. Для каждого слова, пикселя или другого объекта модель вычисляет, насколько сильно он должен учитывать остальные объекты, и затем строит свое представление на основе этих весов. Именно поэтому трансформер способен выявлять сложные зависимости независимо от расстояния между элементами и даже от типа данных.Иначе говоря, механизм внимания — это способ не хранить весь мир в памяти, а быстро находить в нем именно то, что нужно сейчас. Авторы показали, что можно полностью отказаться от рекуррентных сетей (RNN) и использовать только внимание — и модель работает быстрее, лучше и параллелится намного эффективнее. Читать далее