Урок 30. Матрицы и многомерные пространства в машинном обучении

Говорим ученикам

На выставке ученики отбирают макеты башен для проверки устойчивости. На диаграмме отмечены высота и масса. Два макета попали в одну точку, но у одного узкое основание, а у другого широкое. Как показать различие, которое исчезло на экране?

Проверим, как матрицы используют в машинном обучении и что можно узнать из многомерного представления данных.

Говорим ученикам

В диаграмме два макета совпали, потому что на осях оставили только высоту и массу. Добавим ширину основания третьей координатой. Теперь каждая башня — точка в пространстве с тремя осями. Если признаков четыре или десять, координат будет четыре или десять. Рисовать все оси одновременно сложно, а хранить и сравнивать координаты по-прежнему можно.

Сложим векторы четырёх башен в матрицу. Матрица — прямоугольная таблица чисел. В матрице примеров каждая строка описывает один макет, а каждый столбец хранит один признак. Если строк четыре и признаков три, размер — четыре на три. У матрицы пикселей другие правила: строка и столбец означают место на изображении, а число в ячейке задаёт яркость. Если в ней переставить две строки, поменяется рисунок.

В модели матрица может хранить веса, с помощью которых из признаков получают новые числа. Допустим, из трёх входных признаков хотим получить две оценки. У каждой оценки своя тройка весов. Соберём две тройки в матрицу размером два на три. Каждый признак умножаем на вес, который стоит на том же месте, затем складываем результаты. Получаем две оценки из трёх входов. В настоящих моделях веса часто подбирают по данным.

На схеме первая строка весов даёт двойной вклад первого числа, обычный вклад второго и пропускает третье. Для учебного входа (1, 2, 3) получится 2 × 1 + 1 × 2 + 0 × 3 = 4. По второй строке выйдет 0 × 1 + 1 × 2 + 3 × 3 = 11. Если один признак измеряют в граммах, а другой в сантиметрах, их шкалы часто сначала приводят к сопоставимому виду. Здесь маленькие числа взяты, чтобы было видно саму операцию.

Говорим ученикам

Проекция на две оси показывает, как выглядит набор точек, если оставить только два признака. Если у двух башен совпадают эти признаки, точки сольются. Поэтому выбор осей зависит от вопроса. Чтобы сравнить ширину оснований у макетов одной высоты, оставьте высоту и ширину основания.

Говорим ученикам

Если решение зависит от двух признаков, границу на рисунке иногда можно провести прямой. С одной стороны модели будут проходить проверку, с другой — отправляться на доработку. В трёх измерениях такой же границей может быть плоскость. При большем числе признаков её аналог называют гиперплоскостью. Мы не увидим её целиком, зато правило сравнения можно записать и применять к новым точкам.

Например, условие «ширина = 11» задаёт плоскость. На ней высота и масса могут быть любыми, а ширина всегда одинакова. По разные стороны лежат более узкие и более широкие макеты. Если решению важны сразу высота и ширина, границу можно наклонить: тогда большей высоте соответствует другая требуемая ширина.

Говорим ученикам

Перед работой с числовой таблицей выясните, что обозначают её строки и столбцы. Тогда станет понятно, какую информацию она хранит и какая операция имеет смысл.