Data mining

«Data mining» - наука  о «добыче – извлечении содержания и знания из массивов данных» - термин получил свое название из двух понятий: поиска ценной информации в большой базе данных (data) и добычи горной руды (mining). Оба процесса требуют или просеивания огромного количества сырого материала, или разумного исследования и поиска искомых ценностей.
Один из основателей data mining - Григорий Пятецкий-Шапиро (Gregory Piatetsky-Shapiro) - окончил в 1984 году кафедру компьютерных наук Нью-Йоркского университета, на которой защитил докторскую диссертацию на тему «Самоорганизующиеся системы управления базами данных» (Self-Organizing Database Systems) – приложение искусственного интеллекта к работе с базами данных, признанную лучшей диссертацией Нью-Йоркского университета 1984 года. В дальнейшем стал основателем и председателем SIGKDD - Группы особых интересов, посвященной «открытию знаний в данных» (Knowledge Discovery in Data).
Сегодня на рынке представлено множество инструментов, включающих различные методы, которые делают Data Mining прибыльным делом, все более доступным для многих компаний.
Основой успешных Data Mining-проектов можно назвать своеобразный симбиоз человека с компьютером в процессе создания эффективных алгоритмов и успешной их реализации. Компьютер при этом не может заменить человека – аналитика. Как и человек ничего не сможет сделать без компьютера. Главное, что требуется от консультанта по датамайнингу – интуиция, которая подсказывает, как найти интересные объекты в массиве данных и как при помощи существующих методов и технологий обнаруживать именно то, что принесет пользу заказчику.
Технология изначально не может дать ответы на те вопросы, которые не были заданы человеком. Она не может заменить человека-аналитика, а всего лишь дает ему мощный инструмент, который он должен знать и которым должен уметь пользоваться для облегчения и улучшения работы, решения актуальных задач.
Поскольку данные технологии являются мульти дисциплинарной областью, для разработки приложений, включающих Data Mining, необходимы специалисты из разных областей, для которых необходимо еще и обеспечить их качественное взаимодействие.
В краткосрочной перспективе продукты Data Mining и Big Data уже становятся такими же обычными и необходимыми как электронная почта и уже используются пользователями, например, для поиска самых низких цен на определенный товар, билетов. В долгосрочной перспективе будущее Data Mining является захватывающим и трудновообразимым во всей полноте. В полной мере это стало очевидным по мере появления и развития технологий ИИ на архитектуре трансформеров.