Hadoop

Apache Hadoop - это open-source набор утилит, библиотек и фреймворк для разработки и выполнения распределённых программ, работающих на кластерах из сотен и тысяч узлов. Используется для реализации Big Data платформ (для управления большими данными).

См. также: Топ 10: IT Service Desk

2019. HP купил Big Data платформу MapR



Компания Hewlett-Packard Enterprise купила разработчика систем управления данными MapR Technologies. Технология MapR будет встроена в Intelligent Data Platform, пакет технологий HPE для управления жизненным циклом данных. Распределенная файловая система MapR предоставляет возможность управлять аналитикой как на границе, так и в сети. HPE считает, что технология MapR пригодится клиентам в первую очередь для сшивания вместе конвейеров обработки данных в различных онпремисных и облачных средах, а также для выполнения множественных вычислительных нагрузок в одной среде. Сама MapR, начинавшая как продавец сервисов на базе Hadoop, недавно перепозиционировала свою технологию как единую платформу для интеграции многих источников данных.


2015. Google запустил онлайн Big Data сервис Cloud Dataproc



В дополнение к своим услугам в области больших данных, компания Google запускает новый сервис для управления большими данными на своей облачной платформе Google Cloud Platform. Он позволяет использовать движки обработки больших данных Spark или Hadoop прямо в облаке. По утверждению компании, пользователи сервиса смогут запустить кластер Hadoop за 90 секунд. Эта цифра существенно превышает возможности других сервисов. При этом Google будет брать только 0,01 доллара за час работы виртуального процессора в кластере. Эта стоимость будет добавляться к обычной стоимости работы с виртуальными машинами и хранения данных. Поскольку сервис Dataproc позволяет разворачивать кластеры так быстро, пользователи смогут использовать их по мере необходимости, а не держать в рабочем состоянии постоянно.


2009. Amazon открывает сервис Big Data в облаках Elastic MapReduce



Компания Amazon сообщила об открытии нового сервиса Amazon Elastic MapReduce, который позволят с легкостью обрабатывать огромные количества разнообразных данных. Сервис основан на совместном использовании Amazon EC2 и S3, а также фреймворка Hadoop. Elastic MapReduce позволяет разрабатывать приложения для обработки большого массива данных на любом языке, загружать данные и приложения по их обработке в Amazon S3, запускать из AWS Management Console так называемый MapReduce «job flow» (инстанс EC2), там же мониторить статус job flow, а по окончанию работы результат помещается в Amazon S3. Отметим, что Amazon первая начала предоставлять коммерческие услуги MapReduce с использованием Hadoop.