Ученики узнают, как программа распознаёт изображения и почему ошибается. Проведут опыт с рисунками и предложат проверку системы компьютерного зрения.
Содержание урока
- 01. Цель урока
- 02. Ход урока
- 03. Этап 1. Почему программа ошиблась? · 4 минуты
- 04. Этап 2. Как человек и компьютер работают с изображением · 15 минут
- 05. Этап 3. Опыт с закрытой частью рисунка · 11 минут
- 06. Этап 4. Где помогает компьютерное зрение и как его проверять · 9 минут
- 07. Этап 5. Итоги урока · 6 минут
01. Цель урока
Понять, как человек и компьютер получают сведения из изображений, какие задачи решает компьютерное зрение и почему ошибается.
К концу урока ученики смогут:
- сравнить человеческое и компьютерное зрение;
- объяснить, как программа получает ответ из изображения и чему учится на примерах;
- различить название предмета, поиск его на снимке и слежение за ним в видео;
- провести опыт, заполнить таблицу и предложить проверку причины ошибки;
- назвать, где помогает компьютерное зрение и что ему мешает.
02. Ход урока
Этап 1. Почему программа ошиблась? — 4 минуты.
Фотография макета и возможные причины ошибки.
Этап 2. Как человек и компьютер работают с изображением — 15 минут.
Пиксели, сравнение человека и компьютера, задачи компьютерного зрения, задание 1.
Этап 3. Опыт с закрытой частью рисунка — 11 минут.
Работа в четвёрках, таблица наблюдений и вывод.
Этап 4. Где помогает компьютерное зрение и как его проверять — 9 минут.
Применения, случай с марсианским вертолётом, задание 3.
Этап 5. Итоги урока — 6 минут.
Повторение, письменные ответы, обсуждение.
Всего — 45 минут.
03. Этап 1. Почему программа ошиблась?4 минуты
Фото для выставки
Школьник сфотографировал макет подводной лодки для выставки. Поиск по фотографии предложил похожие изображения космических кораблей. Одноклассница советует переснять макет, одноклассник — сменить программу. Как выяснить, что изменить?
Спрашиваем
- Что могло помешать программе?
- Какой снимок помог бы проверить вашу догадку?
- Что можно заключить, если ответ по новому снимку тоже неверный?
Ответы для учителя
Причина неизвестна: возможно, плохо видны детали, необычен ракурс или система не научилась различать такие объекты. Поиск может находить похожие картинки, не распознавая предмет.
«Макет не вошёл в кадр» проверяют снимком целиком, «не видны характерные детали» — снимком с другой стороны. Для предложения «купить камеру получше» нужно уточнить, какие сведения даст новый снимок.
Повторная ошибка означает, что изменение не помогло в этот раз. Она не доказывает, что программа не умеет распознавать подводные лодки. Для вывода нужны снимок и результаты проверки.
Говорим ученикам
«Чтобы проверить причину ошибки, нужно понять, как человек и программа распознают изображения».
04. Этап 2. Как человек и компьютер работают с изображением15 минут
Как человек получает сведения
Говорим ученикам
«Человек узнаёт мир через зрение, слух, осязание, обоняние и вкус. Мозг обрабатывает сигналы органов чувств и связывает их с опытом: мы узнаём предметы, замечаем изменения и решаем, что делать. Получение и осмысление знаний о мире называют познанием.
Свет от предмета попадает в глаза и превращается в сигналы для мозга. Они вместе с опытом помогают узнать предмет.
Искусственный интеллект извлекает сведения из изображений, распознаёт речь, работает с текстом».
Как изображение становится данными
Растровое изображение состоит из пикселей. Программа работает с числами, которые задают их яркость и цвет.
На схеме 0 обозначает чёрный пиксель, 255 — белый. Каждое число соответствует клетке. Если закрасить нули, получится рисунок.
Здесь увеличен фрагмент из 6 × 6 пикселей. В фотографии пикселей гораздо больше. Для цветного пикселя хранят больше сведений. Покажите готовую схему без перерисовки.
Компьютерное зрение извлекает сведения из изображений и видео. Программа обрабатывает числовую запись и ищет признаки объектов. Сохранить фотографию недостаточно: её нужно обработать.
Как программа учится распознавать
Многие системы обучают на изображениях с правильными ответами. Модель, часть программы для распознавания, выдаёт ответ. Его сравнивают с правильным и меняют настройки модели, чтобы уменьшить ошибки.
Модель учится различать границы, формы, цвета и их сочетания. На новом изображении она использует эти признаки для ответа. Искать такую же учебную фотографию необязательно.
Новый снимок не означает, что система продолжает учиться. Ответ зависит от качества снимка и обучения модели. После обучения на однотипных изображениях в других условиях ошибок может быть больше. Есть и методы компьютерного зрения без такого обучения.
Для учителя: устная проверка
«Как из снимка получается ответ? Зачем модель обучали заранее?»
Программа обрабатывает числовую запись и отвечает по признакам, которые модель научилась различать. При обучении ответы сравнивали с правильными и меняли настройки.
Человек и компьютер: сходство и различия
| Что сравниваем | Человек | Компьютер |
|---|---|---|
| Получение сведений | Получает зрительные сигналы через глаза. | Получает числовую запись снимка или кадров видео. |
| Использование опыта | Связывает увиденное со знаниями и ситуацией. | Обученная модель использует закономерности из примеров. |
| Уточнение изображения | Может подойти ближе или повернуть предмет. | Может получать снимки с разных сторон, с нескольких камер или видео, если система это позволяет. Один снимок не показывает скрытую сторону. |
| Возможность ошибки | Может ошибаться. | Может ошибаться. Причину ошибки проверяют у конкретной программы. |
Для учителя: вопрос для сравнения
Что общего у человека и обученной модели при узнавании нового изображения?
Оба используют полученные сведения и прежний опыт, но обрабатывают их по-разному.
Какой ответ должна дать программа
| Задача | Вопрос | Результат |
|---|---|---|
| Классификация изображения | К какой категории относится изображение? | Название категории. |
| Обнаружение объектов | Какие предметы есть в кадре и где они находятся? | Названия и области изображения, часто отмеченные рамками. |
| Слежение в видео | Где тот же объект находится на следующих кадрах? | Связь между появлениями одного объекта в разных кадрах. |
Распознавание надписей превращает изображение в текст. Приложение может сочетать задачи. Название предмета не указывает его положение, а на разных кадрах может быть один предмет.
Задание 1. Хватит ли такого ответа?
В парах прочитайте две заявки. Для каждой запишите, достаточно ли ответа программы и каких сведений не хватает. На чтение — 30 секунд, обсуждение и запись — 2 минуты, проверку — 1 минута 30 секунд.
Заявка А. Робот должен собрать инструменты со стола. Там лежат двое ножниц и коробка с рисунком ножниц на крышке. Программа отметила на фотографии три области с подписью «ножницы».
Заявка Б. На видео программа нашла теннисный мяч на сорока кадрах и сообщила: «Через линию пролетело сорок мячей».
Ответы для учителя
А. Роботу нужны два инструмента, а не все три изображения ножниц. Он должен отличить предмет от рисунка. Могут помочь другие ракурсы, сведения о расстоянии или обучение на таких случаях. Рамка не доказывает, что предмет можно взять.
Б. На сорока кадрах может быть один мяч. Нужно проследить движение и считать пересечения линии в выбранном направлении. Число мячей и пересечений неизвестно.
Нужно объяснить, почему ответ не решает задачу и каких сведений не хватает. Название операции без объяснения не подходит. Термины заучивать не нужно.
Говорим ученикам после проверки
«Ответ должен помогать выполнить задачу. Но даже подходящего ответа может не получиться, если на изображении не хватает признаков».
Дополнительные пояснения для учителя
Схема относится к растровым изображениям. Векторный рисунок описывается геометрическими объектами. Устройство глаза, нейросетей и изменение настроек модели в этом уроке подробно не разбираются.
05. Этап 3. Опыт с закрытой частью рисунка11 минут
Задание 2. Узнать по фрагменту
Сравните в группах ответы по фрагменту и полному рисунку.
1. Роли — 1 минута. В четвёрке распределите номера 1–4. В каждом раунде автор показывает рисунок, двое независимо отвечают, секретарь записывает результаты. Меняйте роли по таблице.
2. Рисунки — 2 минуты. Каждый рисует сбоку велосипед, самокат или скейтборд на отдельном листе без слов и букв. Название пишет на обороте. Передайте обычный вид предмета, не запутывая других. До своего раунда держите лист рисунком вниз.
3. Четыре раунда — 4 минуты. Автор закрывает непрозрачной полоской примерно треть рисунка. Первый участник смотрит 10 секунд, молча пишет название или «не могу определить» и отворачивается. Второй смотрит полный рисунок 10 секунд и независимо пишет ответ. Автор показывает подпись, секретарь заполняет таблицу. Раунд занимает примерно минуту.
4. Сравнение — 2 минуты. В каждом столбце посчитайте совпадения с подписями. Отдельно посчитайте ответы «не могу определить». Выберите рисунок с разными ответами или объясните отсутствие различий.
5. Проверка — 1 минута. Решите, какую часть рисунка открыть, чтобы уточнить ответ. Если все ответы совпали, предложите, что закрыть в следующем опыте. Объясните выбор одной фразой.
6. Вывод — 1 минута. Одна группа сообщает наблюдение и предлагает проверку. Учитель формулирует вывод, остальные сравнивают его со своей таблицей.
Порядок смены ролей
| Раунд | Автор | Видит фрагмент | Видит полный рисунок | Секретарь |
|---|---|---|---|---|
| 1 | 1 | 2 | 3 | 4 |
| 2 | 2 | 3 | 4 | 1 |
| 3 | 3 | 4 | 1 | 2 |
| 4 | 4 | 1 | 2 | 3 |
Не подсказывайте. Второй участник до ответа не должен видеть фрагмент и запись первого. Оба знают только три допустимых названия.
Таблица наблюдений
| Рисунок | Подпись автора | Ответ по фрагменту | Ответ по полному рисунку |
|---|---|---|---|
| 1 | … | … | … |
| 2 | … | … | … |
| 3 | … | … | … |
| 4 | … | … | … |
Для обсуждения
- Какие ответы получила группа? Полный рисунок узнали чаще?
- Если ответ по фрагменту верный, означает ли это, что закрытая часть никогда не нужна?
- Можно ли по нашей таблице узнать, как справилась бы компьютерная программа?
Обсудите один вопрос по результатам групп. Остальные используйте для уточнения.
Ответы и критерии для учителя
Вывод должен соответствовать таблице, даже если по фрагментам больше верных ответов. В таблице отдельно посчитаны совпадения и отказы от ответа, проверка предложена одним предложением.
Одно совпадение не доказывает, что закрытая часть бесполезна: для этого рисунка она могла не понадобиться или ответ угадали. На другом рисунке там может быть нужная деталь.
Полный рисунок и фрагмент видели разные люди с разным опытом и вниманием. Четырёх рисунков мало, чтобы доказать, что дополнительная видимая часть всегда улучшает результат. Опыт лишь помогает выдвинуть предположение.
Это ответы людей, а не точность программы. Для её проверки нужно дать ей полные и частично закрытые изображения и записать ответы.
В тройке записывает автор, двое независимо отвечают. Нужно три раунда и три строки таблицы. В пятёрке пятый помогает записывать, рисунков остаётся четыре.
Говорим ученикам
«Предмет узнают по доступным признакам. Если деталь скрыта, могут помочь другие признаки, но иногда сведений не хватает. Мы проверили людей, программу нужно испытывать отдельно. Для исправления выясняют: ей не хватает сведений или она неверно их использует?»
06. Этап 4. Где помогает компьютерное зрение и как его проверять9 минут
Где применяется компьютерное зрение
| Область | Что делает система | Чем это помогает человеку |
|---|---|---|
| Производство | Ищет признаки дефектов на снимках изделий | Помогает проверять детали. |
| Транспорт | Находит участников движения и препятствия | Помогает водителю и управлению движением. |
| Медицина | Отмечает подозрительные участки на медицинских изображениях | Помогает специалисту разбирать снимки. |
| Сельское хозяйство | Ищет на снимках признаки повреждения растений | Помогает выбирать участки для осмотра. |
| Исследование космоса | Сопоставляет детали поверхности на последовательных снимках | Помогает аппарату оценивать движение. |
Говорим ученикам
«Компьютерное зрение обрабатывает много изображений, повторяет проверки и наблюдает там, куда трудно добраться человеку. Распознаванию могут мешать размытость, блики, необычный ракурс, закрытые части и однотипные примеры при обучении.
Систему испытывают для определённой задачи и условий. Например, отметка медицинской программы ещё не окончательный диагноз. Система может найти то, чего нет, или пропустить нужный признак. Поэтому её проверяют на случаях с этим признаком и без него».
Для учителя: обсуждение применений
Выберите систему из таблицы. Объясните, чем она полезна и что ей может помешать.
Реальный случай: вертолёту не хватило ориентиров
18 января 2024 года вертолёт NASA Ingenuity на Марсе совершил последний полёт и повредил лопасти при посадке. Он оценивал движение по снимкам поверхности. По наиболее вероятной версии расследования, на песке не хватило заметных деталей для сравнения последовательных снимков. Программа ошиблась в оценке движения, и вертолёт жёстко сел. NASA JPL опубликовала разбор 11 декабря 2024 года.
Спрашиваем
Почему камера с большим числом пикселей не обязательно решила бы эту проблему?
Ответ для учителя
Большее разрешение может помочь различить мелкие детали, если они есть. Но подходящих ориентиров может не быть даже при исправной камере.
Это наиболее вероятная версия, другие причины не исключены. Случай показывает работу компьютерного зрения в навигации, но не доказывает, что система была нейросетью.
Говорим ученикам
«Даже на снимках исправной камеры может не хватать признаков для задачи. Проверять нужно условия съёмки и работу программы».
Задание 3. Камера на производстве
Камера снимает металлические пластины на конвейере сверху. Программа сочла бракованной пластину с полоской маркера и пропустила пластину с трещиной снизу.
В парах заполните две строки таблицы: предложите изменения и объясните их проверку. На чтение — 30 секунд, работу — 2 минуты, проверку и вывод — 1 минута 30 секунд.
| Ошибка | Что изменить | Как проверить, помогло ли изменение |
|---|---|---|
| Полоска от маркера принята за трещину | … | … |
| Пропущена трещина снизу | … | … |
Ответы для учителя
Первая ошибка: проверить, видна ли разница между маркером и трещиной. Могут помочь другое освещение или обучение на разных примерах обоих видов. Проверять нужно на новых пластинах с трещинами и без них, включая разные отметки маркера. Одного исправленного ответа недостаточно.
Вторая ошибка: снимать низ, переворачивая пластину или добавив вторую камеру. Проверять на целых пластинах и пластинах с известными дефектами с обеих сторон. Снимки сверху не покажут нижнюю трещину, если её следов сверху нет.
Другие решения подходят, если объяснено, каких сведений не хватает и как они помогут. Устройство конвейера знать не нужно.
Говорим ученикам после проверки
«Если нужная сторона не снята, измените осмотр. Если различия видны, выясните, почему программа их не учла. Исправление проверяют на новых случаях с дефектами и без них в условиях будущей работы. Одного удачного ответа недостаточно».
07. Этап 5. Итоги урока6 минут
Главное за урок
Мозг связывает сигналы органов чувств с опытом. Компьютерное зрение решает отдельные задачи обработки изображений.
Программа обрабатывает числа, которыми записаны изображения и видео. Обученная модель отвечает по признакам, усвоенным на примерах.
Назвать предмет, найти его и проследить движение — разные задачи. Ответ должен подходить к цели.
Компьютерное зрение обрабатывает много изображений, но зависит от доступных сведений, обучения и условий работы. Исправления проверяют на новых примерах в будущих условиях работы.
Итоговые вопросы
Ответьте письменно, с объяснением: одно-два предложения на вопрос.
1. По видео с остановки нужно узнать, когда автобус приехал и уехал. Какой ответ программы нужен? Почему недостаточно ответа «на кадре есть автобус»?
2. На фотографии видна только одна сторона предмета. Программа сообщает, что на другой нет царапин. Что проверить в таком выводе?
3. После исправления программа верно обработала снимок, на котором ошибалась. Как проверить, решена ли проблема?
Ответы для учителя
1. Нужны моменты прибытия и отъезда по последовательности кадров. Сообщение «есть автобус» не даёт времени события и не связывает появления в разных кадрах. Термин «слежение» необязателен.
2. Есть ли у системы снимок другой стороны или сведения о ней? Без них отсутствие царапин не установлено. Нужен осмотр. Утверждать, что царапины точно есть, тоже нельзя.
3. Проверить на новых примерах той же трудности и обычных случаях в условиях будущей работы. Один удачный ответ не показывает, исчезла ли ошибка и нет ли новых.