Трансформеры и GPT в истории языковых моделей. Урок для 9 класса о том, как менялись способы работы с контекстом и обучения на текстах.
Содержание урока
01. Цель урока
Объяснить, как менялись подходы к языку от написанных вручную правил до трансформеров и GPT. Связать каждое изменение с задачами, которые стало легче решать.
02. Ход урока
| Этап | Мин | Учитель | Ученики |
|---|---|---|---|
| Этап 1. Введение: Куда положить? | 5 | Задаёт проблему связей между далёкими словами. | Объясняют, откуда берётся смысл короткого указания. |
| Этап 2. От правил к обучению на текстах | 11 | Показывает, что использует каждый подход. | Сравнивают устойчивость к переформулировке и дальнему контексту. |
| Этап 3. Как работает внимание в трансформере | 13 | Связывает устройство внимания с практическим сравнением. | Проверяют, что видит каждый условный способ. |
| Этап 4. От архитектуры к GPT | 5 | Различает архитектуру, обучение и задачу. | Сравнивают две исторические работы. |
| Этап 5. Перенос идей в другой проект | 6 | Предлагает две проектные роли и собирает способы проверки. | Применяют идеи архитектуры и обучения в новом проекте. |
| Этап 6. Итоги урока | 5 | Подводит итог и сверяет ответы. | Письменно отвечают и сверяют решение. |
| Итого | 45 |
03. Этап 1. Введение: Куда положить? 5 мин
Говорим ученикам
В чате мастерской спорят, куда деть коробку. Потом кто-то пишет: «Положи её на стол». Чтобы выполнить просьбу, надо прочитать предыдущие реплики. Сегодня сравним, как программы работали с такими связями раньше и как с ними работают трансформеры и GPT.
Одно слово, два предмета
Придумайте две предыдущие реплики, в которых «её» относится к разным предметам. Подчеркните слова, которые позволят это понять.
Для учителя
Например: «Коробка мешает» и «Папку принесли». Подчеркните названия предметов. Дальше класс сравнит способы, которые используют слова с разного расстояния.
04. Этап 2. От правил к обучению на текстах 11 мин
Говорим ученикам
В ранних системах человек заранее задавал правила. Например, в программе SHRDLU, которую Терри Виноград описал в начале 1970-х, человек мог давать команды для перемещения объектов в небольшом виртуальном мире. Такой подход удобен, когда набор команд и объектов ограничен. Если пользователь напишет незнакомым способом, придётся добавить правило. Идея статистической языковой модели была другой: посмотреть, какие слова часто стоят рядом в большом наборе текстов, и по этим частотам оценить продолжение.
Модель, которая смотрит только на два предыдущих слова, быстро подскажет знакомое продолжение, но более ранняя подсказка для неё недоступна. Нейросетевые модели научились извлекать признаки из большого числа примеров. В одном из подходов, рекуррентном, модель читает текст по порядку и передаёт дальше краткое внутреннее состояние. Так она может учесть слова из начала фразы, хотя после нескольких фраз модель может потерять важную подсказку.
Когда способ окупается
Обсудите, что выберете для коротких команд с известным форматом и что подойдёт для подсказки следующего слова в сообщениях. Укажите, из-за какой перемены в текстах выбор пришлось бы пересмотреть.
Для учителя
Правила удобны при фиксированных командах. Частотная модель полезна для знакомых коротких продолжений. Если вырастет число свободных переформулировок или станет важен дальний контекст, потребуется другой подход или отдельная проверка.
05. Этап 3. Как работает внимание в трансформере 13 мин
Говорим ученикам
В трансформере механизм внимания помогает каждой части текста получить информацию от других доступных частей. Слово «её» может сильнее опираться на упоминание коробки, даже если между ними есть другая реплика. Как распределяются связи, модель учится на данных. В генераторе типа GPT при выборе следующего токена доступны уже прочитанные или созданные токены, а последующих токенов пока нет.
Внимание учитывает несколько подсказок сразу. Если перед словом «её» упомянуты и папка, и коробка, могут иметь значение положение слов и то, о чём говорили в предыдущей фразе. Модель учится использовать такие связи по примерам. Для перевода это помогает связать местоимение с предметом, а при поиске ответа в тексте — сопоставить вопрос с нужным отрывком.
Папка в проходе. Курьер ждёт. На стол положи ___
Папка в проходе. Курьер ждёт. На стол положи ___
Сравните четыре способа на двух обращениях
В мастерской проверяют, как помощник уточнит короткое указание. Сравните четыре способа из таблицы. Каждый должен закончить фразу «На стол положи ___». Нужный предмет назван только в начале обращения.
А. «Унеси папку из прохода. Курьер ещё не пришёл. Положи её на стол».
Б. «Унеси коробку из прохода. Курьер ещё не пришёл. Положи её на стол».
| Способ в опыте | Какая информация ему доступна |
|---|---|
| Правило | Запуск только для точной команды «положи папку на стол» в сообщении |
| Модель соседних слов | Только «стол положи» перед пропуском |
| Рекуррентная модель | Читает по порядку и переносит внутреннее состояние |
| Модель с вниманием | Может использовать разные места уже прочитанного текста |
Для каждого способа запишите, может ли он различить обращения. Назовите, что для этого должно сработать. Затем придумайте третью фразу, на которой даже доступ ко всему тексту оставит два возможных предмета.
Для учителя
Точное правило в заданном виде не срабатывает на местоимении. В обеих версиях два последних слова перед пропуском одинаковы: «стол положи». Рекуррентная модель может сохранить различие в состоянии, а модель с вниманием — использовать раннее упоминание. Оба результата зависят от обучения. Контрпример: «Папку оставили на коробке. Положи её на стол».
06. Этап 4. От архитектуры к GPT 5 мин
Говорим ученикам
Доступ к разным частям текста помогает, если в тексте есть нужная подсказка. Когда подходят два предмета, хорошо бы переспросить. GPT расшифровывается как «генеративный предобученный трансформер». Трансформер описывает устройство модели. Предобучение означает, что модель сначала получает общий навык работы с текстом на большом наборе данных. Для GPT таким упражнением стало предсказание следующего фрагмента текста. После этого модель можно дополнительно обучать на примерах для конкретных задач.
У первых авторов GPT был конкретный способ проверить перенос. Они брали предобученную модель и дополнительно обучали её на примерах выбранной задачи. Для вопроса по тексту это один набор примеров, для определения темы — другой. Если начать обучение с нуля, каждому набору пришлось бы заново учить модель общим закономерностям языка.
Реальный случай. Две работы, два шага
В 2017 году на конференции NeurIPS исследователи представили архитектуру Transformer и испытали её на машинном переводе. В июне 2018 года OpenAI сообщила о модели, позже известной как первая GPT. Сначала исследователи обучили трансформер предсказывать продолжение текста, затем дообучили его на меньших наборах для конкретных языковых задач. Первый результат показал, как устроить работу с контекстом, второй — как перенести общий навык на разные задачи.
07. Этап 5. Перенос идей в другой проект 6 мин
Говорим ученикам
Устройство модели можно взять из одной работы, а учебную задачу для неё выбрать по своему проекту. Проверьте это на примере двух разных продуктов.
Что взяли из каждой работы?
Работайте в парах. Один из вас проектирует переводчик, другой — помощника, который сначала предлагает продолжение заметки, а затем учится распределять заметки по темам. Выберите для своего проекта по одной идее из двух работ. Объясните, что в проекте относится к устройству модели, а что к обучению. Обменяйтесь ответами и предложите проверку на новом тексте.
Для учителя
Для переводчика подойдёт архитектура, позволяющая связывать части фразы, и обучение на парах исходных и переведённых текстов. Для помощника подойдут предобучение на продолжении и отдельное дообучение на примерах с темами. Убедитесь, что ученики выбрали конкретный способ проверки: смысл перевода или верную тему на новых примерах. Допустима общая архитектура при разных целях обучения.
08. Этап 6. Итоги урока 5 мин
Говорим ученикам
Сравните подходы по доступной информации. Тогда станет понятно, почему смена способа обучения и устройства модели изменила результат.
Главное за урок
- Правила удобны там, где круг команд заранее ограничен.
- Трансформер может связывать разные части доступного контекста.
- Предобучение GPT даёт общий навык работы с текстом, который можно развить для конкретных задач.
Итоговые вопросы
- Почему модель с коротким окном не поймёт, о какой коробке идёт речь, если упоминание было давно?
- Чем устройство трансформера отличается от цели обучения GPT?
- Что должен сделать помощник, если прочитал весь текст, но два предмета одинаково подходят?
Для учителя
Первого упоминания нет в окне.
Трансформер — архитектура, предсказание следующего токена — способ обучения.
При реальной неоднозначности помощник может попросить уточнение.
Источники
- Terry Winograd. Procedures as a Representation for Data in a Computer Program for Understanding Natural Language · 01.01.1971 · Материал старше 2024 года. «We can give it instructions to manipulate toy objects» Источник
- Jurafsky, Martin. Speech and Language Processing, главы о языковых моделях · 19.08.2026. «N-gram Language Models» Источник
- Vaswani и соавторы. Attention Is All You Need · 2017 · Материал старше 2024 года. «a new simple network architecture, the Transformer, based solely on attention mechanisms» Источник
- OpenAI. Improving language understanding with unsupervised learning · 11.06.2018 · Материал старше 2024 года. «then we fine-tune this model on much smaller supervised datasets» Источник