Один точный пример иногда помогает лучше длинной инструкции. Проверим это на промптах для нейросети.
01. Цель урока
Научиться составлять и уточнять промпт для языковой модели. Проверять, изменил ли новый запрос именно то, что требовалось.
02. Ход урока
| Этап | Мин | Учитель | Ученики |
|---|---|---|---|
| Этап 1. Введение: Две инструкции | 5 | Собирает версии, почему ответы различаются. | Предлагают недостающие условия. |
| Этап 2. Что сообщить модели | 10 | Сопоставляет способы задания формата. | Выбирают способ для двух коротких запросов. |
| Этап 3. Опыт с одной переменной | 13 | Проводит сравнение двух запросов на общем экране. | Сравнивают ответы по заранее выбранному признаку. |
| Этап 4. Передача запроса другой паре | 12 | Раздаёт карточку со сменой адресата. | Пишут запрос, передают его и уточняют после отзыва. |
| Этап 5. Итоги урока | 5 | Подводит итог и сверяет ответы. | Письменно отвечают и сверяют решение. |
| Итого | 45 |
03. Этап 1. Введение: Две инструкции 5 мин
Говорим ученикам
Одному человеку нужна инструкция по уходу за растением, которую он приклеит на горшок. Другой хочет разобраться, почему листья желтеют. Оба пишут «Расскажи, как ухаживать за растением». Почему оба могут получить один и тот же бесполезный ответ? Сегодня посмотрим, что в промпте меняет ответ и как это проверить.
Для учителя
Запишите на доске два адресата и две цели. Примите версии про вид растения, подробность и формат. Разведите причины на следующем этапе.
04. Этап 2. Что сообщить модели 10 мин
Говорим ученикам
Промпт — это запрос к модели вместе с теми материалами и условиями, которые ей нужны. В примере с растением модель не знает ни вида растения, ни того, где мы используем ответ. Название растения — исходные данные. Просьба составить наклейку — задача. Ограничение «три строки, каждую начни с глагола» — формат. Если листья уже желтеют, для разбора причины надо добавить наблюдения, например когда их заметили и как часто поливали.
Когда задача простая, достаточно прямой инструкции. Если словами трудно описать образец, покажите одну готовую строку или несколько разных пар «вход — выход». Например, строка «Луна — естественный спутник Земли» показывает длину и порядок сведений в подписи к макету. Если в ответе нужно поправить одно место, укажите, что изменить и что сохранить. Иначе модель может переписать весь ответ.
Иногда задача слишком большая для одного шага. Для доклада сначала можно попросить вопросы к теме, затем дать модели свои источники и попросить план на их основе. Между шагами есть место для проверки. Если модель не получила фактов, фраза «отвечай точно» не даст ей нужных сведений.
| Что хотим получить | Подход | Что проверяем |
|---|---|---|
| Одно предложение по известным данным | Прямой запрос | В предложении есть нужный факт. |
| Одинаковые подписи к нескольким объектам | Одна или несколько пар «объект — подпись» | У каждой подписи та же структура. |
| Один раздел готового ответа короче | Уточнение с указанием, что сохранить | Изменился выбранный раздел. |
Реальный случай. Примеры прямо в запросе
В мае 2020 года исследователи GPT-3 описали опыты, где задачу и несколько образцов давали модели текстом. По этим образцам модель отвечала на новый вопрос в том же запросе. Этот способ пригодился, когда нужно показать форму ответа на примерах.
Для учителя
Предложите выбрать технику для двух случаев: получить одно название для витрины и привести пять подписей к единому виду. Во втором случае удобно показать образец, но точное словесное описание также подходит.
05. Этап 3. Опыт с одной переменной 13 мин
Говорим ученикам
Если сразу заменить аудиторию, формат и факты, по двум ответам трудно понять, что именно повлияло. Для опыта меняем одно условие. Даже на одинаковый запрос модель иногда отвечает по-разному, поэтому из одной пары ответов можно сделать вывод об этой попытке. Повтор опыта покажет, насколько результат устойчив.
Сначала договоритесь, что будете проверять. По словам «мне нравится» сравнить два ответа трудно. А чтобы проверить, можно ли прочитать каждую подсказку за один выдох, достаточно прочесть её вслух.
Опыт. Подсказка к макету
Справка для обоих запросов: Земля обращается вокруг Солнца, Луна обращается вокруг Земли. Нужны две аудиоподсказки к школьному макету.
| Вариант | Запрос | Учебный образец ответа |
|---|---|---|
| А | По справке напиши две аудиоподсказки к макету. | Земля движется вокруг Солнца по орбите. Луна, естественный спутник Земли, обращается вокруг нашей планеты. |
| Б | Тот же запрос. Добавлено: «В каждой подсказке до 8 слов». | Земля обращается вокруг Солнца. Луна обращается вокруг Земли. |
- Отметьте, какое условие изменилось. Прочитайте оба ответа и проверьте длину и точность.
- Назовите ещё один признак хорошей аудиоподсказки. Предложите одну новую правку к запросу и предскажите, как она скажется на ответе.
Для учителя
Строки в таблице — учебные образцы. Проведите одну пару запусков в ГигаЧате или другом разрешённом школой сервисе с учительского экрана. Отправьте запросы в отдельных беседах, с одной справкой и одной моделью. Сохраните оба результата, даже если вариант Б нарушит ограничение. При отсутствии доступа работайте с таблицей и отдельно назовите, какой результат надо проверить на живой модели.
Подходят разные признаки, например чтобы слушатель мог понять, о каком объекте речь, без предыдущей реплики. Проверяйте один признак за попытку.
06. Этап 4. Передача запроса другой паре 12 мин
Говорим ученикам
Запрос удобно проверять так, как проверяют чужую инструкцию. Передайте его тому, кто не слышал вашего обсуждения. Если ему приходится додумывать, кто читает текст или зачем он нужен, модель, скорее всего, тоже будет выбирать сама.
Мастерская. Новый дежурный
Фотокружку нужна памятка на стойку. Камеру берут только у дежурного. Перед возвратом закрывают объектив крышкой. О повреждении сразу говорят дежурному.
- Составьте промпт, который превратит правила в памятку. Передайте только промпт соседней паре.
- Соседняя пара отмечает, какой результат она ожидает и что ей пришлось бы додумать.
- Новое условие: памятку услышат по громкой связи, пока собирают вещи. Измените запрос и назовите два признака, по которым проверите новый ответ.
Для учителя
Допустимы, например, короткое обращение с тремя действиями или инструкция в порядке возврата. Проверка должна охватывать и сохранность трёх правил, и пригодность для слуха. Попросите две пары пояснить, почему выбрали разные форматы.
07. Этап 5. Итоги урока 5 мин
Говорим ученикам
Одинаковые слова в ответе могут скрывать разные задачи. Сначала решите, что должно получиться, а после каждой правки проверьте, сработала ли она.
Главное за урок
- Контекст сообщает модели условия, от которых зависит результат.
- Образец помогает показать форму, которую трудно описать.
- Одна правка за попытку помогает заметить, что изменилось.
Итоговые вопросы
- Вы получили хорошие факты, но неправильный порядок шагов. Как уточните промпт?
- В каком случае разумно показать модели две пары «вход — выход»?
Для учителя
В первом ответе ученик указывает, что сохранить и как переставить шаги. Во втором приводит задачу с повторяющимся форматом и объясняет, как примеры его задают.
Источники
- Brown и соавторы. Language Models are Few-Shot Learners · 28.05.2020 · Материал старше 2024 года. «with tasks and few-shot demonstrations specified purely via text interaction with the model» Источник