При условии надлежащего указания авторства Google настоящим предоставляет разрешение на воспроизведение таблиц и рисунков в данной статье исключительно для использования в журналистских или научных работах.

Внимание — это всё, что вам нужно

\textbf{Ашиш Васвани}$^{*}$ Google Brain avaswani@google.com

\textbf{Ллион Джонс}$^{*}$ Google Research llion@google.com

Ноам Шазер$^{*}$ Google Brain noam@google.com

Эйдан Н. Гомес$^{*}$ $^{\dagger}$ Университет Торонто aidan@cs.toronto.edu

Ники Пармар$^*$ Google Research nikip@google.com

Łukasz Kaiser* Google Brain lukaszkaiser@google.com

\textbf{Илья Полозукхин}$^{*}$ $\ddagger$

illia.polosukhin@gmail.com

Якоб Ускорейт$^{\ast}$ Google Research usz@google.com

Аннотация

Доминирующие модели последовательного преобразования основаны на сложных рекуррентных или сверточных нейронных сетях, которые включают в себя кодировщик и декодер. Лучшие по производительности модели также связывают кодировщик и декодер через механизм внимания. Мы предлагаем новую простую архитектуру сети — Трансформер, основанную исключительно на механизмах внимания, полностью отказываясь от рекуррентности и свёрток. Эксперименты на двух задачах машинного перевода показывают, что эти модели превосходят существующие по качеству, более параллелизуемы и требуют значительно меньше времени для обучения. Наша модель достигает 28.4 BLEU на задаче перевода с английского на немецкий язык WMT 2014, улучшая лучшие из существующих результатов, включая ансамбли, более чем на 2 BLEU. На задаче перевода с английского на французский язык WMT 2014 наша модель устанавливает новый рекорд для одиночной модели с показателем BLEU 41.8 после обучения в течение 3,5 дней на восьми GPU, что составляет малую долю затрат на обучение лучших моделей из литературы. Мы показываем, что Трансформер хорошо обобщается на другие задачи, успешно применяя его к синтаксическому разбору английских предложений как при наличии больших объёмов обучающих данных, так и при их ограниченном количестве.

arXiv:1706.03762v7 [cs.CL] 2 Aug 2023

$^{*}$Равный вклад. Порядок перечисления случайный. Якоб предложил заменить рекуррентные нейронные сети (RNN) на механизм самовнимания и инициировал работу по оценке этой идеи. Ашиш совместно с Иллией разработал и реализовал первые модели Transformer и был ключевым участником во всех аспектах данной работы. Ноам предложил масштабированное точечное внимание, многоголовое внимание и параметрически-свободное позиционное представление, став вторым человеком, вовлечённым практически в каждую деталь. Ники проектировал, реализовывал, настраивал и оценивал бесчисленные варианты моделей в нашей исходной кодовой базе и в tensor2tensor. Ллион также экспериментировал с новыми вариантами моделей, отвечал за нашу первоначальную кодовую базу, эффективный вывод результатов и визуализации. Лукаш и Эйдан провели бесчисленные долгие дни, разрабатывая различные части и реализуя tensor2tensor, заменив нашу предыдущую кодовую базу, что значительно улучшило результаты и massively ускорило наши исследования.

$^{\dagger}$Работа выполнена в период пребывания в Google Brain.

$^{\ddagger}$Работа выполнена в период пребывания в Google Research.

1 Введение

Рекуррентные нейронные сети, в частности долгократкосрочная память [13] и управляемые рекуррентные нейронные сети [7], прочно закрепились в качестве методов передового уровня для задач моделирования последовательностей и трансдукции, таких как языковое моделирование и машинный перевод [35, 2, 5]. С тех пор многочисленные усилия были направлены на расширение границ возможностей рекуррентных языковых моделей и архитектур «кодировщик-декодировщик» [38, 24, 15].

Рекуррентные модели обычно разбивают вычисления по символическим позициям входных и выходных последовательностей. Привязывая эти позиции к шагам во времени выполнения, они генерируют последовательность скрытых состояний $h_t$ как функцию от предыдущего скрытого состояния $h_{t-1}$ и входа для позиции $t$. Эта присущая им последовательная природа исключает возможность параллелизации внутри отдельных обучающих примеров, что становится критичным при увеличении длины последовательности, поскольку ограничения памяти ограничивают формирование батчей между примерами. Недавние работы достигли значительного улучшения вычислительной эффективности благодаря трюкам факторизации [21] и условным вычислениям [32], а также улучшили качество моделей в случае последних. Однако фундаментальное ограничение последовательных вычислений сохраняется.

Механизмы внимания стали неотъемлемой частью эффективных моделей моделирования последовательностей и трансдукции в различных задачах, позволяя учитывать зависимости независимо от их расстояния во входных или выходных последовательностях [2, 19]. Однако во всех случаях, кроме нескольких [27], такие механизмы внимания используются совместно с рекуррентной сетью.

В данной работе мы предлагаем архитектуру Transformer, которая отказывается от рекуррентности и полностью опирается на механизм внимания для установления глобальных зависимостей между входом и выходом. Архитектура Transformer позволяет значительно больше распараллеливать вычисления и достигает нового состояния искусства в качестве перевода после обучения всего двенадцать часов на восьми графических процессорах P100.

2 Предыстория

Цель снижения последовательных вычислений также лежит в основе расширенной нейронной GPU [16], ByteNet [18] и ConvS2S [9], все из которых используют сверточные нейронные сети в качестве базового строительного блока, вычисляя скрытые представления параллельно для всех позиций входа и выхода. В этих моделях количество операций, необходимых для связи сигналов от двух произвольных позиций входа или выхода, возрастает с расстоянием между позициями: линейно для ConvS2S и логарифмически для ByteNet. Это затрудняет обучение зависимостям между удаленными позициями [12]. В Трансформаторе это количество операций сводится к константе, хотя и ценой снижения эффективного разрешения из-за усреднения позиций с весами внимания; этот эффект мы компенсируем с помощью механизма Multi-Head Attention, описанного в разделе 3.2.

Самовнимание (self-attention), иногда называемое внутрипоследовательным вниманием (intra-attention), — это механизм внимания, связывающий различные позиции одной последовательности для вычисления её представления. Самовнимание успешно применялось в ряде задач, включая понимание прочитанного, абстрактное суммирование текстов, текстовую энтайлмент и обучение независимых от задачи представлений предложений [4, 27, 28, 22].

Память end-to-end memory networks основана на рекуррентном механизме внимания вместо рекуррентности, выровненной по последовательности, и показала хорошие результаты на задачах простого языкового вопросно-ответного взаимодействия и моделирования языка [34].

По нашим сведениям, Трансформатор является первой моделью трансдукции, которая полностью полагается на самовнимание для вычисления представлений своего входа и выхода, не используя рекуррентные нейронные сети (RNN), выровненные по последовательности, или свёртки. В следующих разделах мы опишем Трансформатор, обоснуем использование самовнимания и обсудим его преимущества перед моделями, такими как [17, 18] и [9].

3 Архитектура модели

Большинство конкурентоспособных нейросетевых моделей последовательного транслитерирования имеют структуру «кодировщик-декодировщик» [5, 2, 35]. При этом кодировщик отображает входную последовательность символьных представлений $(x_1, ..., x_n)$ в последовательность непрерывных представлений $\mathbf{z} = (z_1, ..., z_n)$. Получив $\mathbf{z}$, декодировщик затем генерирует выходную последовательность символов $(y_1, ..., y_m)$ по одному элементу за раз. На каждом шаге модель является авторегрессионной [10], потребляя ранее сгенерированные символы в качестве дополнительного ввода при генерации следующего.

Рисунок 1: Архитектура модели Transformer.

Трансформер использует следующую общую архитектуру, состоящую из стека механизмов самовнимания и точечных полносвязных слоёв как для кодировщика, так и для декодера, что показано на левой и правой половинах рисунка 1 соответственно.

3.1 Стек энкодера и декодера

Кодировщик: Кодировщик состоит из стека из $N = 6$ идентичных слоев. Каждый слой имеет два подслоя. Первый — это механизм многоголовочного самовнимания, а второй — простая позиционно-ориентированная полносвязная сеть прямого распространения. Мы используем остаточные связи [11] вокруг каждого из двух подслоев, за которыми следует нормализация по слоям [1]. То есть выход каждого подслоя равен $\text{LayerNorm}(x + \text{Sublayer}(x))$, где $\text{Sublayer}(x)$ — функция, реализуемая самим подслоем. Для облегчения этих остаточных связей все подслои в модели, а также слои встраивания, выдают выходные данные размерности $d_{\text{model}} = 512$.

Декодер: Декодер также состоит из стека из $N = 6$ идентичных слоев. В дополнение к двум подслойным компонентам в каждом слое кодировщика, декодер вставляет третий подслой, который выполняет многоголовочное внимание над выходом стека кодировщика. Подобно кодировщику, мы используем остаточные связи вокруг каждого из подслоев, за которыми следует нормализация по слоям. Мы также модифицируем подслой самовнимания в стеке декодера так, чтобы позиции не могли обращать внимание на последующие позиции. Эта маскировка, в сочетании с тем фактом, что выходные эмбеддинги смещены на одну позицию, гарантирует, что предсказания для позиции $i$ могут зависеть только от известных выходов в позициях, меньших $i$.

3.2 Внимание

Функция внимания может быть описана как отображение, которое преобразует запрос и набор пар ключ-значение в выходной вектор, при этом запрос, ключи, значения и выходной вектор являются векторами. Выход вычисляется как взвешенная сумма

Рисунок 2: (слева) Внимательность с масштабированным скалярным произведением. (справа) Многоголовое внимание состоит из нескольких слоёв внимания, работающих параллельно.

значений, где вес, присваиваемый каждому значению, вычисляется с помощью функции совместимости запроса с соответствующим ключом.

3.2.1 Масштабированное скалярное произведение внимания

Мы называем наше особое внимание «Взвешенное скалярное произведение внимания» (рисунок 2). Входные данные состоят из запросов и ключей размерности $d_k$, а также значений размерности $d_v$. Мы вычисляем скалярные произведения запроса со всеми ключами, делим каждое на $\sqrt{d_k}$ и применяем функцию softmax для получения весов по значениям.

На практике мы вычисляем функцию внимания для набора запросов одновременно, упакованных вместе в матрицу $Q$. Ключи и значения также упакованы вместе в матрицы $K$ и $V$. Мы вычисляем матрицу выходных данных как:

$$\text{Attention}(Q, K, V) = \text{softmax}(\frac{QK^T}{\sqrt{d_k}})V \tag{1}$$

Двумя наиболее часто используемыми функциями внимания являются аддитивное внимание [2] и скалярное (мультипликативное) внимание. Скалярное внимание идентично нашему алгоритму, за исключением масштабного множителя $\frac{1}{\sqrt{d_k}}$. Аддитивное внимание вычисляет функцию совместимости с использованием полносвязной сети с одним скрытым слоем. Хотя обе функции схожи по теоретической сложности, скалярное внимание значительно быстрее и более эффективно по памяти на практике, поскольку его можно реализовать с помощью высокооптимизированного кода умножения матриц.

Хотя для малых значений $d_k$ оба механизма работают аналогично, аддитивное внимание превосходит скалярное внимание без масштабирования при больших значениях $d_k$ [3]. Мы предполагаем, что для больших значений $d_k$ скалярные произведения становятся большими по модулю, что приводит к тому, что функция softmax попадает в области, где её градиенты чрезвычайно малы $^4$. Чтобы противодействовать этому эффекту, мы масштабируем скалярные произведения на $\frac{1}{\sqrt{d_k}}$.

3.2.2 Многоголовое внимание

Вместо выполнения одной функции внимания с ключами, значениями и запросами размерности $d_{\text{model}}$, мы обнаружили полезным линейно проецировать запросы, ключи и значения $h$ раз с помощью различных обучаемых линейных проекций в размерности $d_k$, $d_k$ и $d_v$ соответственно. На каждой из этих спроецированных версий запросов, ключей и значений мы затем выполняем функцию внимания параллельно, получая векторы размерности $d_v$.

$^4$Чтобы проиллюстрировать, почему скалярные произведения становятся большими, предположим, что компоненты $q$ и $k$ являются независимыми случайными величинами со средним значением 0 и дисперсией 1. Тогда их скалярное произведение $q \cdot k = \sum_{i=1}^{d_k} q_i k_i$ имеет среднее значение 0 и дисперсию $d_k$.