Прокторинг и искусственный интеллект: урок для 8 класса об автоматической проверке заданий, сигналах наблюдения и разборе спорных результатов.
Содержание урока
Цель урока
Разобраться, что проверяют автоматическая оценка и прокторинг, и научиться выяснять причины спорного результата.
Ход урока
| Этап | Мин | Учитель | Ученики |
|---|---|---|---|
| 1. Отметка на экране | 4 | Предлагает выяснить, почему система показала замечание | Выясняют, что нужно знать о результате проверки |
| 2. Содержание и процесс | 8 | Объясняет способы проверки | Объясняют, какие сведения нужны для каждой проверки |
| 3. Ошибка наблюдения | 6 | Рассказывает об исследовании | Объясняют, зачем проверять работу системы в разных условиях |
| 4. Как читать журнал | 6 | Объясняет работу с неполными сведениями | Готовят вопросы, которые помогают проверить разные версии события |
| 5. Разбираем спорные результаты | 15 | Даёт материалы и организует обсуждение решений | Решают, верен ли ответ и что можно узнать об условиях работы |
| 6. Итоги урока | 6 | Собирает выводы | Объясняют, что нужно для проверки и пересмотра результата |
| Итого | 45 |
Этап 1: Отметка на экране
Говорим ученикам
Вы отправляете домашнюю работу через учебную платформу. В ответ появляется короткое замечание. По нему не всегда понятно, что именно программа посчитала ошибкой. Сегодня разберём, как искусственный интеллект помогает проверять задания и как его применяют в прокторинге. Так называют наблюдение за тем, как ученик выполняет дистанционную контрольную или сдаёт онлайн-экзамен.
Какой вопрос вы зададите, если система показала замечание, но не указала место в ответе?
Для учителя
Соберите вопросы об условиях, критериях и конкретном фрагменте. Не просите учеников рассказывать о личных дисциплинарных ситуациях.
Этап 2. Содержание и процесс
Говорим ученикам
Спросите, какой фрагмент ответа вызвал замечание и какое правило проверки применила система. При проверке домашнего задания программа сопоставляет ответ с условием и критериями. Для короткого числового ответа иногда достаточно вычислить результат и сравнить его с ответом ученика. Если одно и то же выражение записано двумя способами, их можно сравнить с помощью математических преобразований. В обоих случаях можно обойтись без ИИ.
В развёрнутом ответе модель может искать нужную мысль, проверять связь между частями и предлагать замечания. При этом она может пропустить важную мысль или принять уверенный пересказ за объяснение. Чтобы разобраться в оценке, нужно увидеть, к какому месту в работе относится замечание и по какому критерию проверяли ответ.
Прокторинг отвечает на другой вопрос: соблюдались ли условия выполнения работы. Перед началом могут проверять личность участника и работу оборудования. Во время работы система может записывать видео и звук или отмечать действия на компьютере. Программа выделяет эпизоды для просмотра, затем человек сопоставляет их с правилами и обстоятельствами.
Сообщение «лицо не обнаружено» означает, что программа не нашла лицо на видео. Например, участник мог отвернуться или изображение могло стать нечётким. По одному такому сообщению нельзя понять, помогал ли ему кто-то.
| Задача | Какие данные используют | Что ещё нужно для вывода |
|---|---|---|
| Проверить ответ | Условие, работа, критерии | Показать ошибку и объяснить её по критерию |
| Проверить условия выполнения | Журнал событий и доступная запись | Выяснить, что происходило, и сверить это с правилами |
Для учителя
Спросите устно: «Можно ли по правильному ответу понять, что ученик работал сам? Можно ли по пропавшему видео понять, что решение неверно?» Для каждого вывода нужны свои сведения.
Этап 3. Ошибка наблюдения
Говорим ученикам
В одних условиях программа находит лицо на видео лучше, чем в других. У некоторых людей она тоже может чаще ошибаться. Тогда предупреждение может появиться, хотя участник продолжал работать как раньше.
Реальный случай. Предупреждения распределились неравномерно
20 сентября 2022 года исследователи Университета Луисвилла, США, опубликовали анализ автоматического прокторинга. В исследованной системе лица студентов с более тёмным оттенком кожи обнаруживались хуже, а предупреждения появлялись чаще. Авторы проверяли отчёты системы; больше предупреждений не означало, что эти студенты чаще нарушали правила.
Для учителя
Исследование относится к конкретной системе и выборке. Не переносите его показатели на все продукты и не утверждайте, что одинаковая причина объясняет любой сбой распознавания. Важный вывод — качество отдельного шага нужно оценивать до использования сигнала как основания решения.
Говорим ученикам
На тренировке ошибочную подсказку обычно можно сразу обсудить. На экзамене предупреждение может повлиять на результат, поэтому участнику важно знать, что вызвало сомнение и как попросить пересмотра. Для разбора сохраняют сведения, которые помогают проверить замечание. Лишние подробности о том, что находится у участника дома, для оценки работы не нужны.
Этап 4. Как читать журнал
Говорим ученикам
Журнал — это список событий, которые система записала, с указанием времени. В журнале есть только то, что система смогла получить и сохранить. Частота кадров показывает, сколько кадров приходится на секунду видеозаписи. Если нужного фрагмента видео нет, из журнала нельзя узнать, что в этот момент происходило в комнате.
Если результат оспаривают, сначала выясните, что удалось увидеть на записи и о чём можно лишь догадываться. Затем спросите о том, что могло бы изменить вывод. Если участнику предлагают доказать, что он не нарушал правила, он может уточнить, какой эпизод вызвал замечание.
Короткое обсуждение
Сравните две просьбы: «Покажите запись до и после того, как видео прервалось» и «Подтвердите, что предупреждение верно». Какая просьба поможет проверить, что произошло, и почему?
Для учителя
Первая просьба помогает получить дополнительные сведения. Во второй уже предполагается, что предупреждение было правильным. Даже запись до и после перерыва может не объяснить, что случилось. Такой ответ допустим.
Этап 5. Разбираем спорные результаты
Говорим ученикам
Разберите две ситуации. В каждой скажите, что уже можно установить и каких сведений ещё не хватает.
Задание. Какое решение обосновано?
Материал А. Проверка записи
В условии требуется раскрыть скобки в 4(x + 2). Ученик написал 8 + 4x. Система сравнивает строку с эталоном 4x + 8 и показывает «неверно». В критерии задания указано: засчитывается любое равное выражение без скобок.
Материал Б. Два события
В журнале дистанционной работы три записи. В 10:14 программа не обнаружила лицо. В 10:14 она также отметила низкую частоту кадров. В 10:15 программа снова обнаружила лицо. В сохранившемся фрагменте до предупреждения видно, как участник смотрит на черновик. Черновик разрешён. По неполной записи и журналу нельзя выяснить, что происходило в этот момент.
- По каждой ситуации запишите отдельно, что заметила система, какое правило действует и какой вывод можно сделать. Рассмотрите ситуации по отдельности.
- Решите, что можно подтвердить сейчас, а для какого вывода сведений пока не хватает. Назовите место в условии, работе или журнале, на которое вы опираетесь.
- Запросите одно дополнительное сведение. Объясните, как ваш вывод изменится в зависимости от ответа.
- Предложите, как сделать проверку понятнее и реже приходить к спорным выводам. Объясните, как после вашего изменения проверяющий сможет заметить настоящее нарушение.
- Сравните решение с другой группой. Найдите место, в котором ваши выводы разошлись, и выясните, на какие сведения опиралась каждая группа.
Результат: два кратких решения и одно предложение, как улучшить проверку. Укажите наблюдение, примените правило и поясните, какие сведения могли бы изменить решение. Обвинение можно выдвигать только при наличии доказательств.
Для учителя
А: выражения равны по переместительному свойству сложения и соответствуют критерию. Оснований считать математический ответ неверным нет; изменяют способ сравнения или дают человеку пересмотреть результат. Б: журнал сообщает, что в 10:14 программа не обнаружила лицо, а система зарегистрировала пониженную частоту кадров. По этим данным нельзя установить причину или нарушение. Технический сбой — возможная версия, а не доказанный факт. Нельзя приписывать участнику списывание или считать, что журнал доказал отсутствие любой посторонней помощи.
Допустимые изменения: показывать причину замечания и участок записи; разделять технические сигналы и содержательные выводы; предусмотреть обращение к проверяющему. Не засчитывайте ни автоматическое наказание по флагу, ни предложение игнорировать любые сигналы системы.
Говорим ученикам
В первой ситуации сведений хватает, чтобы исправить результат проверки. Во второй пока нельзя сказать, было ли нарушение. Если появятся новые сведения, вывод можно пересмотреть.
Этап 6. Итоги урока
Говорим ученикам
ИИ может показать проверяющему, где поискать возможную ошибку. Чем серьёзнее последствия для ученика, тем важнее объяснить, на чём основано решение и как его можно оспорить.
Итоговые вопросы
- Что можно узнать по ответу ученика, а что — по журналу прокторинга?
- Как ошибка при обнаружении лица может привести к несправедливому решению?
- ИИ отметил ошибку в отзыве о герое книги, потому что довод отличается от образца. Что нужно проверить в отзыве и книге, прежде чем менять оценку?
Для учителя
Ответ должен прослеживать связь: неточное распознавание → сигнал → поспешное толкование. В третьем ответе назовите критерий и конкретное место в отзыве. Проверьте, подтверждает ли эпизод из книги довод ученика. Отличие от образца само по себе не нарушает критерий.
Главное за урок
- Проверка ответа и прокторинг используют разные данные и критерии.
- Автоматическое предупреждение указывает место для разбора, а не доказывает нарушение.
- Если нужных сведений нет, укажите, что пока неизвестно.
- Чтобы проверить решение, нужно знать, на чём оно основано и кто может его пересмотреть.
Источники
- Yoder-Himes и соавторы. Racial, skin tone, and sex disparities in automated proctoring software. 20.09.2022. Подтверждение: «Students with darker skin tones were more likely to have a higher number of flags». Материал старше 2024 года.