Как проверить текст нейросети перед докладом? Возьмём черновик и выясним, что из него можно доказать.
01. Цель урока
Научиться проверять сгенерированный текст по источникам, логике и задаче. Подготовить пригодный для выступления фрагмент доклада.
02. Ход урока
| Этап | Мин | Учитель | Ученики |
|---|---|---|---|
| Этап 1. Введение: Уверенный абзац | 6 | Читает тезис, собирает вопросы к нему. | Называют, каких измерений не хватает. |
| Этап 2. Четыре редакторских вопроса | 9 | Разбирает, что подтверждает источник. | Отличают факт, основание, вывод и цель. |
| Этап 3. Разбор документов | 17 | Распределяет роли автора, проверяющего и докладчика. | Отмечают решения по четырём тезисам. |
| Этап 4. Защита фрагмента доклада | 8 | Показывает запрос для доклада и слушает две версии. | Читают фрагмент и уточняют его по вопросу аудитории. |
| Этап 5. Итоги урока | 5 | Подводит итог и сверяет ответы. | Письменно отвечают и сверяют решение. |
| Итого | 45 |
03. Этап 1. Введение: Уверенный абзац 6 мин
Говорим ученикам
На стенде школьной выставки написано: «У школы всегда на четыре градуса прохладнее». В журнале измерений одна строка: «Во вторник в 14:00 под деревом было на четыре градуса прохладнее, чем на открытой площадке». Что можно сказать зрителям по этой записи? Сегодня разберём, как проверить текст нейросети до выступления.
Такой переход от одного наблюдения ко всем дням звучит гладко, потому что в обоих текстах есть правдивое число. Но число относится только к одному времени и двум конкретным местам. Отсюда можно придумать следующий опыт, например повторить сравнение в другие дни.
Для учителя
Разрешите ученикам сначала записать свой вариант подписи. Сверьте, остались ли в нём время и сравниваемые места.
04. Этап 2. Четыре редакторских вопроса 9 мин
Говорим ученикам
Языковая модель строит связный ответ по закономерностям в тексте. Она может написать правдоподобную ссылку или уверенно добавить подробность, которой в источнике нет. Поэтому разберите абзац на отдельные утверждения. Сначала спросите, проверяемый ли это факт. Потом откройте источник и найдите фразу или строку, которая подтверждает именно этот факт. Рабочая ссылка сама по себе подтверждения не даёт. Если в статье написано, что термометр установили возле дерева, она подтверждает место установки. Из неё нельзя взять число градусов, пока не найдёте сам замер.
Дальше проверьте ход рассуждения. Если данные показывают, что два события случились рядом, ещё нужно выяснить, почему так вышло. Наконец, перечитайте исходный вопрос. Для доклада о результатах измерений подходит описание наблюдений и их пределов. Красивый совет о том, что надо изменить, может не отвечать на вопрос и требовать отдельной проверки.
| Проверка | Что искать |
|---|---|
| Факт | Число, событие или утверждение, которое можно сверить. |
| Источник | Фрагмент, который подтверждает именно это утверждение. |
| Логика | Переход от наблюдения к выводу. |
| Задача | Ответ на исходный вопрос в нужном формате. |
Реальный случай. Почему проверяют уверенный ответ
В июле 2024 года американский институт NIST включил в профиль рисков генеративного ИИ случаи, когда система уверенно формулирует ложное утверждение. Поэтому редактору нужно проверять содержание фразы по источнику даже тогда, когда автор ответил уверенно.
05. Этап 3. Разбор документов 17 мин
Говорим ученикам
Сначала примите решение сами, потом попробуйте его защитить перед группой. Слова «кажется верным» можно заменить номером документа и точной строкой. Если нужной строки нет, это тоже результат проверки.
Редакторское расследование
Класс готовит устный доклад «Что мы измерили у школьных кранов?». Сверьте черновик с тремя материалами.
А. Журнал. Вторник, 11:30. Чтобы наполнить мерный кувшин на 1 литр, у крана на первом этаже понадобилось 12 секунд, у крана на втором — 18 секунд. По одной попытке.
Б. План наблюдения. На каждом этаже планировали повторить опыт утром и после уроков. Повторных замеров в журнале пока нет.
В. Запись завхоза. На следующей неделе проверим напор и состояние насадок. Причина различия пока не установлена.
- В черновике четыре утверждения: «На первом этаже кувшин наполнили за 12 секунд». «На первом этаже напор выше весь день». «Разницу вызвала засорённая насадка». «В следующей части доклада нужно порекомендовать заменить все краны».
- По каждому тезису примите решение: сохранить, уточнить или убрать. Запишите основание. Затем подготовьте докладчику три фразы: наблюдение, предел вывода и следующий способ проверки.
Для учителя
Первый тезис подтверждает А. Для второго можно сохранить сравнение времени в двух конкретных пробах, но А и Б не позволяют говорить про весь день. Третий — гипотеза, В её не подтверждает. Четвёртый выходит за задачу и не имеет основания. Следующий шаг — повторить сравнение и отдельно проверить возможные причины.
06. Этап 4. Защита фрагмента доклада 8 мин
Говорим ученикам
В докладе важно сказать, в каких условиях вы получили результат. Когда вы говорите «в этой пробе», слушатель понимает, насколько широк ваш вывод. Так слушатели поймут, зачем повторять замеры.
Один вопрос от слушателей
Передайте учителю три проверенные фразы. Запрос для ГигаЧата: «Сделай из этих трёх фраз короткий устный фрагмент доклада. Сохрани числа и пределы вывода. Новых сведений не добавляй». Сверьте ответ с исходником. Затем прослушайте фрагмент другой группы и попросите пояснить предел одного вывода.
Для учителя
Покажите на одном наборе фраз, как модель помогает подготовить доклад. Без доступа предложите для редакторской сверки учебный вариант: «Мы измерили время наполнения литрового кувшина. На первом этаже получилось 12 секунд, на втором 18. Поэтому насадка второго крана нуждается в замене». Первые две фразы передают данные, последняя добавляет неподтверждённый вывод.
07. Этап 5. Итоги урока 5 мин
Говорим ученикам
Проверка текста сохраняет то, что можно доказать, и показывает, какие вопросы пока остаются открытыми.
Главное за урок
- Правдоподобная фраза требует отдельной сверки с источником.
- Вывод должен оставаться в пределах наблюдений.
- В докладе важны и точность, и ответ на исходный вопрос.
Итоговые вопросы
- После открытия второго окна очередь в столовой стала короче. Что проверить, прежде чем назвать причину?
- Источник подтверждает число, но оно не помогает ответить на вопрос доклада. Что вы сделаете с этой фразой?
Для учителя
Например, сравнить число пришедших, время, условия обслуживания и повторить наблюдение. Во втором вопросе уместно убрать фразу или перенести в отдельный контекст с ясной связью.
Источники
- NIST. Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile · 26.07.2024. «The production of confidently stated but erroneous or false content» Источник