Урок для 8 класса об увеличении изображения нейросетью. Ученики сравнят способы обработки и выяснят, какие детали можно подтвердить по исходнику.
Содержание урока
Цель урока
Сравнить обычное увеличение и увеличение изображения нейросетью, объяснить, откуда берутся новые детали, и выбрать обработку под задачу.
Ход урока
План занятия
| Этап | Мин | Учитель | Ученики |
|---|---|---|---|
| 1. Стрелка на флажке | 4 | Собирает способы узнать, куда показывает знак. | Различают увеличение снимка и проверку сведений на нём. |
| 2. Из чего складывается увеличенное изображение | 10 | Объясняет сетку пикселей, повтор цвета и сглаживание. | Сопоставляют способ обработки с рисунком и снимком. |
| 3. Убедительная деталь и проверяемая деталь | 9 | Разбирает случай SRGAN и показывает, как устроить проверку с известным оригиналом. | Выбирают опыт для двух видов искажения. |
| 4. Снимок для путеводителя | 17 | Организует работу выпускающей редакции и сверку решений. | Выбирают обработку для двух целей и предлагают проверку спорной детали. |
| 5. Что доказал исходник | 5 | Собирает короткие ответы об обратной проверке. | Переносят принцип на новую неоднозначную деталь. |
01. Этап 1: Стрелка на флажке4 мин.
Говорим ученикам
После школьного велопробега у вас остался маленький кадр с флажком. На нём видно белое пятно, но непонятно, стрелка это или буква. После увеличения знак стал похож на стрелку. Что помогло бы узнать, куда он показывал?
Сегодня разберём, как увеличение добавляет пиксели, когда оно делает картинку удобнее для просмотра и откуда берутся детали, которых не различить на исходнике.
02. Этап 2. Из чего складывается увеличенное изображение10 мин.
Говорим ученикам
Цифровой снимок состоит из пикселей — маленьких участков, для каждого из которых хранится значение цвета. Если сделать изображение вдвое шире и вдвое выше, пикселей станет вчетверо больше. Программа выбирает, каким цветом заполнить каждый новый пиксель.
Простой способ — повторить цвет ближайшего пикселя. У маленького пиксельного значка сохранятся резкие края, а на фотографии могут стать заметны квадраты и ступеньки. Другой способ — взять промежуточные значения между соседними цветами. Переход выглядит мягче, но размытую границу букв это само по себе не прояснит. Оба способа опираются на соседние пиксели и не требуют обученной модели.
Нейросеть учится по парам изображений, например по чёткому снимку и его уменьшенной копии. Во время обучения она получает маленький вариант, увеличивает его, а результат сравнивают с чётким снимком. По многим парам она учится предлагать правдоподобные границы и фактуру — мелкие особенности поверхности. Если у двух разных надписей уменьшенные изображения выглядят одинаково, одной копии недостаточно, чтобы уверенно выбрать исходную надпись.
Быстрая проверка выбора
Выберите способ для увеличения пиксельной эмблемы и для сглаживания ступенек на маленькой фотографии. Объясните, какой край вы хотите получить в каждом случае.
Для учителя
Для эмблемы обычно подходит повтор цвета, для сглаживания фото — интерполяция, то есть заполнение промежуточными цветами соседних пикселей. Нейросеть можно проверить отдельно, если хочется получить выразительную фактуру.
03. Этап 3. Убедительная деталь и проверяемая деталь9 мин.
Говорим ученикам
Увеличенное изображение может казаться чётким благодаря новым деталям. Для обложки путеводителя это полезно: поверхность скалы выглядит естественнее. Если по снимку нужно прочитать обозначение маршрута, правдоподобная стрелка может направить человека не туда. Чтобы узнать, была ли на флажке стрелка и куда она указывала, нужен, например, другой снимок, где знак виден чётко. Если важен сам маршрут, сверьтесь с проверенной схемой.
Проверить метод можно на снимке, оригинал которого у вас уже есть. Уменьшите копию и попробуйте вернуть размер. Сравните варианты с оригиналом: остались ли на месте линии, буквы и края. Если исходные снимки обычно ещё и смазаны движением, проведите второй опыт со смазанной копией. Так вы узнаете, как способ ведёт себя при двух разных причинах потери деталей.
Реальный случай. SRGAN делает фактуру правдоподобной
В 2017 году на конференции CVPR исследователи представили SRGAN — способ увеличить изображение с помощью генеративно-состязательной сети, где одна модель увеличивает снимок, а другая при обучении оценивает правдоподобие результата. В испытании они увеличивали уменьшенные копии фотографий. Люди оценивали, насколько естественно выглядят результаты. Авторы отдельно сравнивали результат с исходным изображением по числовым показателям. Эти сравнения отвечают на разные вопросы: выглядит ли поверхность убедительно и насколько результат близок к оригиналу.
Для учителя
Обсудите, почему оценки зрителей полезны для иллюстрации, а для чтения маркировки нужна проверка конкретных деталей.
04. Этап 4. Снимок для путеводителя17 мин.
Говорим ученикам
Редакция может использовать одну обработку для обложки и другую для схемы маршрута. Решение зависит от того, что читатель будет делать по этому изображению.
Один кадр, две публикации
У редакции школьного путеводителя есть маленькое фото деревянного указателя на развилке. Нужны обложка и инструкция, по которой участники пройдут маршрут. Выберите материал для каждой публикации и решите, что делать со стрелкой.
Что получила редакция
| Материал | Что на нём видно |
|---|---|
| А. Обычное увеличение | Виден силуэт указателя, конец стрелки размыт. |
| Б. Увеличение нейросетью | Проступили волокна дерева и чёткий наконечник, направленный вправо. |
| В. Кадр другого участника | Видна та же развилка сбоку, но знак частично закрыт веткой. |
- В паре выберите изображение для обложки и решите, хватит ли этих материалов для инструкции.
- Для каждого выбора назовите одну деталь, которая важна именно для этой цели. Укажите, какая дополнительная проверка займёт меньше всего времени и что она должна показать.
- Обменяйтесь решениями. Найдите утверждение, которое другая пара может подтвердить прямо сейчас.
Для учителя
Для обложки годится Б, если не выдавать добавленную деталь за указание маршрута. Можно выбрать А, если важен верный вид места. Для инструкции нужен чёткий дополнительный кадр, сверка на месте или проверенная схема. Размытая стрелка на исходном снимке сама по себе не подтверждает направление.
05. Этап 5. Что доказал исходник5 мин.
Говорим ученикам
Новые пиксели могут сделать картинку удобной, а исходные сведения остаются теми, что были записаны на снимке. Чтобы подтвердить новую деталь, ищите независимое изображение или измерение.
Вопрос на выходе
После увеличения на кирпичной стене появилась полоска. Какие две проверки помогут выяснить, была ли она на стене?
Для учителя
Например, посмотреть исходник при другом увеличении и найти второй снимок, где это место различимо, либо проверить стену на месте. Согласие двух обработок одной копии не заменяет независимое наблюдение.
06. Главное за урок
Обычное увеличение заполняет новую сетку по соседним пикселям. Нейросеть использует то, чему научилась на примерах, поэтому может добавить правдоподобную деталь. Если по картинке надо прочитать знак или что-то измерить, сверьте нужную деталь с независимым источником.
07. Источники
- Ledig и соавторы. Photo-Realistic Single Image Super-Resolution Using a Generative Adversarial Network. 2016, доклад на CVPR в 2017 году. Материал старше 2024 года. «capable of recovering photo-realistic textures from heavily downsampled images»
- OpenCV. Resize. Документация 5.0. Справочник перечисляет способы заполнения пикселей при изменении размера изображения, включая выбор ближайшего значения и линейную интерполяцию.