Анализ данных с помощью data mining

Интеллектуальный анализ данных, или Data Mining, – это процесс обнаружения в недоработанных данных ранее неизвестных, незаурядных, практически полезных и доступных интерпретации знаний, требующихся в различных сферах человеческой деятельности.  Современные технологии Data Mining (discovery-driven data mining) обрабатывают сведения с целью автоматического поиска шаблонов (паттернов), свойтсвеенных для каких-либо фрагментов смешанных многомерных данных. В отличие от оперативной аналитической обработки данных (online analytical processing, OLAP) в Data Mining тяготы формулировки гипотез и исследования необычных шаблонов переложено с человека на компьютер. Известно пять типов задач Data Mining: ассоциация, последовательность, классификация, кластеризация, прогнозирование.  Закономерность типа ассоциация наблюдается в данных, когда несколько события имеют друг с другом тесную связь и происходят при этом в один и тот же момент времени.

Закономерность типа «последовательность» предполагает наличие в данных цепочки связанных друг с другом и распределенных во времени событий.

Закономерность типа «классификация» выделяет в данных на основе исследования признаков уже классифицированных объектов, при этом известна принадлежность объектов к классам. Результатом является формирование правил отнесения объектов к классам.  Закономерность типа «кластеризация» предполагает наличие в данных похожих по каким-либо признакам групп объектов, причем количество групп и принадлежность объектов к ним заранее не заданы. С помощью кластеризации средства Data Mining самостоятельно выделяют различные однородные группы данных.  Поиск закономерности типа «прогнозирование» проводится на основе информации, хранящихся в базе данных в виде временных рядов. Если удается создать математическую модель и найти шаблоны, адекватно показывающие эту динамику, есть вероятность, что с их помощью можно спрогнозировать и как поведет себя система в будущем.

В связи с совершенствованием технологий записи и хранения данных и появлением хранилищ данных на людей рухнули информационные потоки в самых различных отраслях. Стало ясно, что без продуктивной переработки потоки необработанных данных образуют никому не нужную кипу данных.

Особенностью современных требований к обработке данных в хранилищах является то, что данные имеют безграничный объем, данные являются разнообразными. При этом последствия обработки должны быть точны и понятны, а инструменты для обработки необработанных данных должны быть просты для пользователя.

Необходимо отметить, что Data Mining является развитием традиционной математической статистики. Однако методы математической статистики используются для заранее сформулированных суждений.

Исходя из выше изложенного, сделаем вывод, что тема данной работы является актуальной.

1. Айвазян С.   А.,   Бухштабер   В.   М.,   Юнюков   И.   С.,   Мешалкин   Л.   Д.   Прикладная   статистика:   Классификация   и   снижение   размерности.   —   М.:   Финансы   и   статистика,   1989.  
2. Гик Дж., ван.   Прикладная   общая   теория   систем.   —   М.:   Мир,   1981.  
3. Дюк В.А. Обработка   данных   на   ПК   в   примерах.   —   СПб:   Питер,   1997.
4. Кречетов Н.. Продукты   для   интеллектуального   анализа   данных.   —   Рынок   программных   средств,   №   14–15,   1997,   c.   32–39.  
5. Киселев   М.,   Соломатин   Е..   Средства   добычи   знаний   в   бизнесе   и   финансах.   —   Открытые   системы,   №   4,   1997,   с.   41–44. 
6. Ольга   Горчинская   Семинары   по   технологиям   Oracle9i.   Инструментальные   средства   Oracle   Data   Mining   http://www.oracle.com
7. Сайт компании   SAS   sas.com
8. Сайт   компании   StatSoft   www.StatSoft.com
9. Сайт   www.spc-consulting.ru/dms/