Apache Spark — более быстрый, универсальный и user friendly аналог Hadoop как инструмент для batch-обработки больших данных

Использование Apache Mahout для кластеризации данных на Hadoop платформе

Как мы все знаем у организации Apache очень много проектов. Apache Foundation - это настоящий инкубатор IT проектов. Все знают Apache прежде всего по их веб-серверу. Однако кроме веб-сервера Apache продвигает много других очень полезных проектов. Один из таких перспективных проектов это Apache Hadoop. Apache Hadoop позволяет делать распределенные вычисления. Зачем это нужно? В первую очередь для обработки больших объемов данных. Сейчас есть такой современный тренд - Big Data - это большие данные. Но насколько большие? На этот вопрос все отвечают по разному. Для одной организации петабайт может являться в принципе нормальным объемом данных, а для другой это уже проблема больших данных. Если копнуть глубже то тут возникает целый ряд проблем: хранение, поиск, аналитика, и визуализация. Проблема хранения решается в принципе просто посредством какой-нибудь распределенной СУБД. Более сложно дело обстоит с поиском нужной информации, аналитикой и визуализацией. Вот как раз таки Apache Mahout и поможет нам программировать аналитику. Итак что мы имеем для решения проблемы больших данных:

• хранение - распределенная СУБД
• процессинг (обработка данных) - Apache Hadoop (установка)
• аналитика - Apache Mahout