Это исследование искусственного интеллекта посвящено ограничениям и возможностям трансформирующих больших языковых моделей (LLM) эмпирически и теоретически при решении композиционных задач.

ChatGPT в тренде, и миллионы людей используют его каждый день. Благодаря своим невероятным возможностям имитировать людей, таким как ответы на вопросы, создание уникального и креативного контента, обобщение огромных текстовых данных, завершение кода и разработка очень полезных виртуальных помощников, ChatGPT делает нашу жизнь проще. ChatGPT, разработанный OpenAI, основан на архитектуре преобразователя GPT 3.5 (генеративный предварительно обученный трансформатор) и GPT 4. GPT 4, последняя версия языковых моделей, выпущенная OpenAI, является мультимодальной по своей природе, то есть принимает входные данные в виде текста и изображений, в отличие от предыдущих версий. Даже другие модели большого языка (LLM), такие как PaLM, LLaMA и BERT, используются в приложениях в различных областях, включая здравоохранение, электронную коммерцию, финансы, образование и т. д.

В недавно опубликованной исследовательской работе группа исследователей подчеркнула разницу между впечатляющими показателями LLM, таких как GPT, при решении сложных задач и их трудностями при выполнении простых задач. Изучая ограничения и возможности Transformer LLM, команда провела эксперименты над тремя репрезентативными композиционными задачами: многозначным умножением, головоломками с логическими сетками и классической задачей динамического программирования. Эти задачи включают разбиение проблемы на более мелкие шаги и объединение этих шагов для получения точного решения.

С целью изучения ограничений Трансформеров при решении композиционных задач, требующих многошагового рассуждения, авторы предложили две гипотезы. Во-первых, Трансформеры выполняют задачи, линеаризуя многоэтапные рассуждения в сопоставлении путей, полагаясь таким образом на сопоставление с образцом и ускоренное обучение, а не на фактическое понимание и реализацию основных вычислительных правил, необходимых для разработки правильных решений. Этот подход позволяет быстро и точно делать прогнозы по схожим шаблонам во время обучения, но не позволяет обобщать необычные сложные примеры. Вторая гипотеза гласит, что Трансформеры могут иметь присущие ограничения при попытке решить композиционные задачи высокой сложности, имеющие уникальные шаблоны. Ошибки ранних вычислений могут распространиться и привести к серьезным ошибкам компаундирования на последующих этапах, не позволяя моделям прийти к правильному решению.

Для исследования двух гипотез авторы сформулировали композиционные задачи в виде вычислительных графов. Эти графы разлагают процесс решения проблем на более мелкие, более управляемые субмодульные функциональные этапы, обеспечивая структурированные меры сложности проблемы и вербализацию вычислительных шагов в качестве входных последовательностей для языковых моделей. Они даже используют полученную информацию для прогнозирования закономерностей, которые модели, вероятно, изучат, основываясь на базовом распределении задач, без выполнения полных вычислений внутри графа.

Основываясь на эмпирических результатах, авторы предложили, чтобы Трансформеры решали композиционные задачи, сводя многоэтапные рассуждения к линеаризованному сопоставлению подграфов. Они предоставили теоретические аргументы, основанные на абстрактных многоэтапных задачах рассуждения, которые подчеркивают, что по мере увеличения сложности задачи производительность Трансформаторов быстро ухудшается. Это показывает, что возможности моделей уже могут быть ограничены в решении композиционных задач большой сложности.

В заключение, эмпирические и теоретические результаты предполагают, что производительность Трансформеров в основном определяется сопоставлением шаблонов и подграфов, а не тщательным пониманием основных мыслительных процессов, что также подтверждает идею о том, что Трансформаторам будет трудно выполнять все более сложные задачи. .

ПроверьтеБумага.Не забудьте присоединитьсянаш субреддит из более чем 22 тысяч ML,Дискорд-канал, иИнформационный бюллетень по электронной почте , где мы делимся последними новостями исследований в области искусственного интеллекта, интересными проектами в области искусственного интеллекта и многим другим. Если у вас есть какие-либо вопросы относительно приведенной выше статьи или мы что-то пропустили, напишите нам по адресу: