Машинное обучение

Машинное обучение  —  обширный класс методов искусственного интеллекта, характерной чертой которых является не прямое решение поставленной задачи, а обучение в процессе применения решений множества схожих задач. Для создания алгоритмов машинного  обучения используются средства численных методов, математической статистики, методов оптимизации, а также других математических наук.

Различают два типа обучения:

1. Обучение по прецедентам, или индуктивное обучение, основано на выявлении эмпирических закономерностей в данных.
2. Дедуктивное обучение подразумевает формализацию знаний экспертов, и занесение их в базу данных.

В данной области выделяют следующие типы задач.

1. Задача регрессии – прогноз на основе выборки объектов с различными признаками. На выходе должно получиться вещественное число (2, 35, 76.454 и др.), к примеру цена квартиры, стоимость ценной бумаги по прошествии полугода, ожидаемый доход магазина на следующий месяц, качество вина при слепом тестировании.
2. Прогнозирование– это процесс (часто основанный на научном исследовании) по расчету прогноза или разработке прогнозной модели. В узком смысле под прогнозированием понимают предсказание будущих значений временного ряда на основе его значений в прошлом, и, возможно, дополнительной информации.
3. Задача классификации– получение категориального ответа на основе набора признаков. Имеет конечное количество ответов (как правило, в формате «да» или «нет»): есть ли на фотографии кот, является ли изображение человеческим лицом, болен ли пациент?                                                                                                       
4. Задача кластеризации– распределение данных на группы: разделение всех клиентов мобильного оператора по уровню платёжеспособности, отнесение космических объектов к той или иной категории (планета, звезда, чёрная дыра и т. п.).                               
5. Задача уменьшения размерности– сведение большого числа признаков к меньшему (обычно 2–3) для удобства их последующей визуализации (например, сжатие данных).                                           

Цели и задачи                                                                                                      

Целью данной работы является изучение основных принципов и методов машинного обучения, а также рассмотрение различных подходов к решению задачи прогнозирования, а в частности прогнозирование результативности терапии для людей больных рассеянным склерозом.

Для достижения поставленной цели требуется выделить несколько важных задач:

1. Более подробно рассказать про способы, методы и типы задач машинного обучения.
2. Привести примеры различных задач и методы их решения.
3. Оценить, полученные способом улучшения, алгоритмы для решения поставленной задачи.
4. Сравнить результаты работы алгоритмов и сделать общий вывод

Основные положения

Главная особенность машинного обучения в том , что решение находится не по четкой формуле, а по установленной зависимости результатов от конкретного набора признаков и их значений.Например, если каждый день в течении недели земля покрыта снегом и температура воздуха существенно ниже нуля, то вероятнее всего, наступила зима. Поэтому машинное обучение применяется для диагностики, прогнозирования, распознавания и принятия решений в различных прикладных сферах: от медицины до банковской деятельности.

Важная составляющая ML это оценка алгоритма, и здесь я хочу рассказать подробнее о метриках:

Перед переходом к самим метрикам необходимо ввести важную концепцию для описания этих метрик в терминах ошибок классификации — confusion matrix (матрица ошибок).
Допустим, что у нас есть два класса и алгоритм, предсказывающий принадлежность каждого объекта одному из классов, тогда матрица ошибок классификации будет выглядеть следующим образом:

Здесь y – истинная метка класса на объекте, а y^ - ответ алгоритма. Таким образом, ошибки классификации бывают двух видов: False Negative (FN) и False Positive (FP).

Интуитивно понятной, очевидной и почти неиспользуемой метрикой является accuracy — доля правильных ответов алгоритма:

Эта метрика бесполезна в задачах с неравными классами, и это легко показать на примере. Допустим, мы хотим оценить работу спам-фильтра почты. У нас есть 100 не-спам писем, 90 из которых наш классификатор определил верно (True Negative = 90, False Positive = 10), и 10 спам-писем, 5 из которых классификатор также определил верно (True Positive = 5, False Negative = 5).
Тогда accuracy =  86,4%

А если просто предсказывать все письма как не-спам, то доля правильных ответов увеличится, и составит 90.9%

При этом, наша модель совершенно не обладает никакой предсказательной силой, так как изначально мы хотели определять письма со спамом. Преодолеть это нам поможет переход с общей для всех классов метрики к отдельным показателям качества классов.

Для оценки качества работы алгоритма на каждом из классов по отдельности введем метрики precision (точность) и recall (полнота).

Precision можно определить как долю объектов, названных классификатором положительными и при этом действительно являющимися положительными, а recall показывает, какую долю объектов положительного класса из всех объектов положительного класса нашел алгоритм.

Precision и recall не зависят, в отличие от accuracy, от соотношения классов и потому применимы в условиях несбалансированных выборок.

На данном этапе, когда мы уже знаем какие примитивные оценки существуют можно перейти к способам машинного обучения.

1. [1] Machinelearning[Электронный ресурс]  URL:
2. http://www.machinelearning.ru/wiki/index.php?title=Машинное_обучение
3. Режим доступа: свободный - (Дата обращения:  20.06.2020)
4. [2] Wikipedia.    The    Free    Encyclopedia. [2005-2020]    URL: https://ru.wikipedia.org/wiki/Машинное_обучение (Дата обращения: 28.06.2020)
5. [3] Machinelearning[Электронный ресурс]  Курс К.В.Воронцова URL:
6. http://www.machinelearning.ru/wiki/index.php?title=Машинное_обучение_%28курс_лекций%2C_К.В.Воронцов%29 (Дата обращения: 22.06.2020)
7. [4] GitHub[Электронный ресурс]  Гит-репозиторий. URL:
8. https://github.com/conordewey3/Hitchhikers-Guide-Machine-Learning
9. (Дата обращения: 24.06.2020)
10. [5] Mining-cryptocurrencyp – Информационный аналитический портал [Электронный ресурс] URL:
11. https://mining--cryptocurrency-ru.turbopages.org/s/mining-cryptocurrency.ru/mashinnoe-obuchenie-metody-tipy/ (Дата обращения: 25.06.2020)
12. [6] Tproger – Информационный портал[Электронный ресурс] URL:
13. https://tproger.ru/translations/hitchhikers-guide-to-ml/ (Дата обращения: 27.06.2020)