Как нейросеть учится создавать произведения искусства? На уроке для 8 класса ученики подготовят запрос для генерации изображения и сравнят оценки зрителей.
Содержание урока
Цель урока
Объяснить, как нейросеть учится создавать произведения искусства, и проверить, как изменение запроса влияет на изображение и на его восприятие зрителями.
Ход урока
План занятия
| Этап | Мин | Учитель | Ученики |
|---|---|---|---|
| 1. Афиша без заголовка | 4 | Показывает два варианта афиши и собирает мнения. | Предлагают место для заголовка и объясняют выбор. |
| 2. Чему учится модель | 11 | На одном примере разбирает данные, обучение и генерацию. | В парах объясняют, как подписи и подбор изображений меняют возможности модели. |
| 3. Что именно оценивает зритель | 6 | Разделяет требования к афише и впечатления от неё. | Договариваются о способе оценить два результата. |
| 4. Редакция школьной афиши | 19 | Организует генерацию и слепое сравнение. При недоступности сервиса даёт готовую пару для анализа. | Готовят запросы, получают или разбирают две иллюстрации, собирают оценки. |
| 5. Повторить или исправить | 5 | Обсуждает, когда нужен повторный запуск и когда лучше править макет. | Предлагают проверку для неожиданного результата. |
01. Этап 1: Афиша без заголовка4 мин.
Говорим ученикам
Для школьного кинопоказа нужны афиша и крупный белый заголовок. На одном варианте луч маяка пересекает верхнюю часть, на другом маяк виден внизу. На каком варианте вы быстрее прочитаете заголовок, если его поставят сверху? А какой вам больше хочется рассматривать?
Мы разберёмся, как нейросеть учится создавать изображение по описанию и почему красивую картинку иногда приходится переделывать.
02. Этап 2. Чему учится модель11 мин.
Говорим ученикам
Когда художник слышит «причал в тумане», он может вспомнить берег, выбрать точку зрения и решить, какую часть рисунка оставить пустой. Генеративную модель обучают на большом наборе изображений. Если модель должна понимать текст, ей нужны изображения с подписями. По ним она учится связывать слова и видимые признаки: туман делает дальние предметы менее отчётливыми, а волны меняют отражение огней в воде. Если в подписях постоянно пропускают важную деталь, ей труднее связать эту деталь с названием.
Один из способов получить изображение по тексту — использовать диффузионную модель. Представьте снимок, на который наложили рябь. Во время обучения к изображению добавляют шум, то есть случайные помехи. Модели дают изображение с шумом и подпись. Она учится определять, какую часть помех убрать на очередном шаге. При обучении её ответ сравнивают с тем шумом, который добавили. На множестве примеров модель улучшает этот навык. Обсудите в паре, что ей будет сложнее нарисовать, если маяки на снимках есть, а в подписях их почти не называют.
Когда мы вводим свой запрос, готового снимка у модели нет. Она начинает со случайного шума и шаг за шагом строит изображение, ориентируясь на описание. Если запустить генерацию ещё раз, начальный шум может измениться, а вместе с ним — композиция. Модель может нарисовать узнаваемый маяк и при этом занять место под заголовок. Редкий вид маяка она тоже может изобразить с ошибками.
Реальный случай. Как устроен Kandinsky
6 декабря 2023 года команда Kandinsky опубликовала технический отчёт о версии 3.0. Авторы описали, как собирали данные и обучали модель для создания изображений по тексту с помощью диффузии. Результаты разных моделей они сравнивали в том числе по тому, какие изображения предпочитали люди при показе рядом. Пример показывает, что соответствие описанию и восприятие картинки можно проверять отдельно.
Для учителя
Спросите, зачем нужны зрители, если модель уже научилась строить изображение. Их оценки показывают, насколько результат подходит человеку по выбранным критериям.
03. Этап 3. Что именно оценивает зритель6 мин.
Говорим ученикам
Вернёмся к двум афишам. Представьте один и тот же белый заголовок на обеих афишах. Там, где буквы попадают на светлый луч, читать их труднее. Отзыв «мне нравится» может помочь выбрать настроение афиши, а эта проверка отдельно показывает, удобно ли читать заголовок. Для афиши можно отдельно проверить, видны ли заданные предметы, удобно ли читать заголовок и какое настроение вызывает картинка. Двое зрителей могут одинаково оценить читаемость и по-разному отнестись к мрачному сюжету. На практике проверим, легко ли прочитать заголовок и узнаётся ли тема вечера. Договоритесь, что будете считать удачным результатом по каждому признаку.
Автор школьной афиши выбирает замысел, отбирает результат и отвечает за то, что покажет зрителям. Если команда использовала генерацию, в подписи можно коротко указать, какую часть сделала команда и где помогла модель. Как указывать авторство и учитывать права на чужие работы, мы подробнее разберём в отдельном уроке.
04. Этап 4. Редакция школьной афиши19 мин.
Говорим ученикам
Попробуем управлять одной особенностью изображения. Если поменять сюжет, цвета и композицию одновременно, будет трудно понять, какая правка помогла. Два отзыва помогут заметить, по каким признакам зрители согласны, а по каким их оценки расходятся.
Один замысел, два запроса
Школа устраивает вечер морской фантастики. Нужна иллюстрация к афише: по ней должно быть понятно, о каком вечере идёт речь, а дату и название вы добавите поверх изображения. Работайте в парах.
- Набросайте карандашом, как вы сами разместили бы маяк и заголовок. Опишите сюжет и настроение для запроса. Выберите одну деталь композиции, которую будете менять во втором запросе. Получите по одному изображению для каждого запроса. Если генератор недоступен, сравните два варианта из начала урока и запишите запрос, который мог бы помочь получить каждый из них.
- Покажите оба изображения ученикам из соседней пары, не раскрывая запросов. Для каждого варианта запишите, где зритель поставил бы заголовок и что на картинке передаёт тему вечера.
- Выберите один вариант и объясните решение по отзывам. Сравните его со своим наброском. Назовите решение, которое в наброске приняли вы, а в сгенерированном варианте предложила модель. Назовите, что вы проверили бы повторным запуском.
Для учителя
При доступе к генератору используйте уже разрешённый школой сервис. Если доступ только у учителя, класс совместно выбирает два запроса, учитель запускает их, пары независимо оценивают результаты. Если у сервиса можно закрепить начальный шум, используйте одинаковую настройку. Без неё по одной паре результатов нельзя уверенно приписать разницу правке запроса. При отсутствии сервиса сравните готовые сгенерированные варианты из первого этапа и предложите правку к одному из них. В таком варианте класс практикуется в оценке и составлении запроса, а генерацию выполняет при доступе к инструменту.
05. Этап 5. Повторить или исправить5 мин.
Говорим ученикам
Иногда лучше уточнить запрос, иногда — перенести заголовок в редакторе. Чтобы выбрать, сначала установите, что именно не получилось: модель пропустила предмет, а может быть, выбранное место мешает прочитать текст.
Вопрос на выходе
Два запуска с одним запросом дали разное место для маяка. Как вы проверите, помогает ли уточнение «маяк у нижнего правого края»?
Для учителя
Сравнить несколько запусков с уточнением и без него, сохраняя остальные условия. Заранее задать, что считается нижним правым краем, и проверить долю изображений, где маяк оказался там.
06. Главное за урок
На обучение модели влияют изображения и подписи к ним. Запрос направляет генерацию, а разные запуски могут дать разную композицию. Оценивайте результат по отдельным признакам, которые важны для вашей задачи.
07. Источники
- Kandinsky 3.0 Technical Report. 06.12.2023. Материал старше 2024 года. «a large-scale text-to-image generation model based on latent diffusion»