В прошлом году Google Research объявила о нашем видении Pathways, единой модели, которая может обобщать домены и задачи и при этом быть высокоэффективной. Важной вехой на пути к реализации этого видения стала разработка новой системы Pathways для организации распределенных вычислений для ускорителей. В «PaLM: масштабируемое языковое моделирование с помощью Pathways» мы представляем модель Pathways Language Model (PaLM), 540-миллиардную модель Transformer с плотным декодированием, обученную с помощью системы Pathways, которая позволила нам эффективно обучать одну модель в нескольких Модули TPU v4. Мы оценили PaLM на сотнях задач понимания и генерации языка и обнаружили, что он обеспечивает современную производительность за несколько шагов в большинстве задач, во многих случаях со значительным отрывом.

По мере увеличения масштаба модели повышается производительность задач, а также открываются новые возможности.

Обучение языковой модели с 540 миллиардами параметров с использованием путей

PaLM демонстрирует первое крупномасштабное использование системы Pathways для масштабирования обучения до 6144 микросхем, что является самой большой конфигурацией системы на основе TPU, используемой для обучения на сегодняшний день. Обучение масштабируется с использованием параллелизма данных на уровне модуля в двух модулях Cloud TPU v4 с использованием стандартного параллелизма данных и моделей в каждом модуле. Это значительное увеличение масштаба по сравнению с большинством предыдущих LLM, которые либо обучались на одном модуле TPU v3 (например, GLaM, LaMDA), либо использовали конвейерный параллелизм для масштабирования до 2240 графических процессоров A100 в кластерах графических процессоров (Megatron-Turing NLG), либо использовал несколько модулей TPU v3 (Gopher) с максимальным масштабом 4096 чипов ТПУ v3.

PaLM достигает эффективности обучения на уровне 57,8% использования аппаратных FLOP, , самого высокого показателя, достигнутого для LLM в этом масштабе . Это связано с комбинацией стратегии параллелизма и переформулировкой блока Transformer, который позволяет параллельно вычислять уровни внимания и прямой связи, что позволяет ускориться за счет оптимизации компилятора TPU.

PaLM был обучен с использованием комбинации английских и многоязычных наборов данных, которые включают высококачественные веб-документы, книги, Википедию, разговоры и код GitHub. Мы также создали словарь «без потерь», который сохраняет все пробелы (особенно важно для кода), разбивает символы Unicode, не входящие в словарь, на байты и разбивает числа на отдельные токены, по одному на каждую цифру.

Прорывные возможности в языковых, логических и кодовых задачах

PaLM демонстрирует прорывные возможности в решении множества очень сложных задач. Ниже мы выделяем несколько примеров для понимания и генерации языка, рассуждений и задач, связанных с кодом.

Понимание языка и генерация

Мы оценили PaLM на 29 широко используемых задачах обработки естественного английского языка (NLP). PaLM 540B превзошел производительность нескольких предыдущих крупных моделей, таких как GLaM, GPT-3, Megatron-Turing NLG, Gopher, Chinchilla и LaMDA, в 28 из 29 случаев.задач, которые охватывают задачи на ответы на вопросы (вариант закрытой книги с открытым доменом), задачи на закрытие и завершение предложений, задачи в стиле Винограда, задачи на понимание прочитанного в контексте, задачи на рассуждение здравого смысла, задачи SuperGLUE и вывод естественного языка задания.

В дополнение к задачам НЛП на английском языке PaLM также демонстрирует высокую производительность в многоязычных тестах НЛП, включая перевод, хотя только 22% учебного корпуса не на английском языке.

Мы также изучаем возникающие и будущие возможности PaLM в тесте Beyond the Imitation Game Benchmark (BIG-bench), недавно выпущенном наборе из более чем 150 новых задач языкового моделирования, и обнаруживаем, что PaLM достигает прорывной производительности. Мы сравниваем производительность PaLM с Gopher и Chinchilla, усредненную по общему подмножеству из 58 таких задач. Интересно, что мы отмечаем, что производительность PaLM в зависимости от масштаба следует логарифмически линейному поведению, аналогичному предыдущим моделям, предполагая, что повышение производительности за счет масштабирования еще не достигло плато . PaLM 540B 5-shot также лучше, чем средняя производительность людей, которым было предложено решить те же задачи.

PaLM демонстрирует впечатляющие возможности понимания и генерации естественного языка на нескольких БОЛЬШИХ лабораторных задачах. Например, модель может различать причину и следствие, понимать концептуальные комбинации в соответствующих контекстах и ​​даже угадывать фильм по эмодзи.

Примеры, демонстрирующие однократную производительность PaLM 540B при выполнении БОЛЬШИХ настольных задач: маркировка причин и следствий, концептуальное понимание, угадывание фильмов по смайликам, поиск синонимов и контрфактуалов.

Рассуждение

Сочетая масштаб модели с подсказками по цепочке мыслей , PaLM демонстрирует революционные возможности в задачах рассуждения, требующих многошаговой арифметики или рассуждений на основе здравого смысла. Предыдущие LLM, такие как Gopher, видели меньше пользы от масштаба модели в повышении производительности.

Мы наблюдали высокую производительность PaLM 540B в сочетании с подсказками по цепочке размышлений на трех наборах арифметических данных и двух наборах данных на основе здравого смысла. Например, с 8-кратной подсказкой PaLM решает 58% проблем в GSM8K, эталоне из тысяч сложных математических вопросов школьного уровня, превосходя предыдущий максимальный результат в 55%, достигнутый путем точной настройки модели GPT-3 175B. с обучающим набором из 7500 задач и совмещением его с внешним калькулятором и верификатором.

Этот новый показатель особенно интересен, поскольку он приближается к среднему показателю 60% задач, решенных 9-12-летними детьми, которые являются целевой аудиторией для набора вопросов. Мы подозреваем, что отдельное кодирование цифр в словаре PaLM помогает добиться таких улучшений производительности.

Примечательно, что PaLM может даже генерировать явные объяснения для сценариев, требующих сложного сочетания многоэтапного логического вывода, знания мира и глубокого понимания языка. Например, он может предоставить высококачественные объяснения новых шуток, которых нет в Интернете.

Генерация кода

Также было показано [1, 2, 3, 4], что LLM хорошо обобщаются для задач кодирования, таких как написание кода с учетом описания на естественном языке (текст в код), перевод кода с одного языка на другой и исправление ошибок компиляции. (код в код).

PaLM 540B демонстрирует высокую производительность в задачах кодирования и задачах на естественном языке в одной модели, даже несмотря на то, что в наборе данных перед обучением у него всего 5% кода. Его производительность при малом количестве выстрелов особенно примечательна, потому что он находится на одном уровне с точно настроенным Codex 12B при использовании В 50 раз меньше кода Python для обучения. Этот результат подтверждает более ранние выводы о том, что более крупные модели могут быть более эффективными с точки зрения выборки, чем более мелкие модели, потому что они более эффективно передают знания как из других языков программирования, так и из данных на естественном языке.

Примеры точно настроенной модели PaLM 540B для задач преобразования текста в код, таких как GSM8K-Python и HumanEval, и задач преобразования кода в код, таких как Transcoder.

Мы также видим дальнейшее увеличение производительности за счет тонкой настройки PaLM для набора данных кода только для Python, который мы называем PaLM-Coder. Для примера задачи исправления кода под названием DeepFix, где целью является модификация изначально поврежденных программ на C до их успешной компиляции, PaLM-Coder 540B демонстрирует впечатляющую производительность, достигая скорости компиляции 82,1%, что превосходит предыдущий уровень техники 71,7%. . Это открывает возможности для исправления более сложных ошибок, возникающих при разработке программного обеспечения.

Этические соображения

Недавние исследования выявили различные потенциальные риски, связанные с LLM, обученными веб-тексту. Крайне важно анализировать и документировать такие потенциальные нежелательные риски с помощью прозрачных артефактов, таких как карты моделей и таблицы данных, которые также включают информацию о предполагаемом использовании и тестировании. С этой целью в нашем документе представлены таблица данных, карточка модели и результаты тестов Responsible AI, а также отчеты о тщательном анализе набора данных и выходных данных модели на предмет предвзятости и рисков. Хотя анализ помогает определить некоторые потенциальные риски модели, анализ предметной области и конкретной задачи необходим для правильной калибровки, контекстуализации и смягчения возможного вреда. Дальнейшее понимание рисков и преимуществ этих моделей является предметом текущих исследований, наряду с разработкой масштабируемых решений, которые могут защитить от злонамеренного использования языковых моделей.

Заключение и будущая работа

PaLM демонстрирует возможность масштабирования системы Pathways до тысяч чипов-ускорителей в двух модулях TPU v4 путем эффективного обучения модели с 540 миллиардами параметров с помощью хорошо изученного и хорошо зарекомендовавшего себя рецепта плотной модели Transformer, состоящей только из декодера. Расширение границ масштаба модели обеспечивает революционную производительность PaLM за несколько шагов в различных задачах обработки естественного языка, рассуждений и кода.

PaLM прокладывает путь к еще более совершенным моделям, сочетая возможности масштабирования с новыми архитектурными решениями и схемами обучения, и приближает нас к видению Pathways: