Как проанализировать 20 гигабайтов информации за 20 минут

Источник:  pcweek, Автор: Сергей Бобровский 

Мэйнстримовский тренд Больших данных только-только зарождается, однако фирмы, успевшие вбить в название своих продуктов "Big Data", уже расхватываются как горячие пирожки.

Teradata приобрела европейскую eCircle, лидирующую в нише облачного цифрового маркетинга -- потому что, по данным Forrester, 45% клиентов систем Больших данных связаны с маркетингом, компьютерная часть которого (социалки, почта, мобильные сервисы) вырастет с 6 млрд долл в текущем году до 16 млрд в 2016-м (оценки IDC также схожи -- 16,9 млрд в 2015-м). Мощность новой платформы от Teradata -- сотни миллиардов "сообщений" в год.

IBM прикупил Vivisimo, известную движком поиска и аналитики для Big Data.

Birst привлекла под Big Data $26 млн инвестиций (и планирует получить еще столько же). Помните Siebel Systems/Oracle Siebel CRM? Ее создатели ныне трудятся в Birst, разрабатывая облачную аналитику, еще в 2009-м (!) запустили SaaS-сервис BI, и сегодня у нее очень внушительные клиенты.

Впрыгнула на подножку набирающего скорость экспресса и Google (см "Google BigQuery: облачный сервис бизнес-аналитики для "больших данных"), анонсировав OLAP-службу Google BigQuery Service, которая работает с терабайтными массивами данных из миллиардов записей в, как обещано, реальном времени, и предлагает похожий на SQL язык запросов. Интерфейс BigQuery Ingestion API позволит загружать десятки гигабайтов за 15-20 минут (сотню гигов можно будет анализировать бесплатно). Пока бета-тест, в ограниченном режиме служба заработает к зиме. Что интересно, Apache Hadoop Гуглем не используется.

Сколь конкурентоспособной окажется эта система в сравнении с, например, IBM Netezza и Hewlett-Packard Vertica, узнаем в следующем году. Представители Гугля отмечают, что крупные системы дороги, а настройка Hadoop силами ИТ-отдела весьма трудоемка.

Обратил свое внимание на Big Data и Open Data Centre Alliance (стандарты для ЦОДов и облачных систем), члены которого (крупнейшие национальные банки, авиа/автопроизводители) тратят на ИТ суммарно 100 млрд долл в год. Это не дань моде -- в ближайшие пять лет объемы обрабатываемых участниками ODCA данных вырастут в семь раз, и "с этим надо что-то делать". Создана рабочая группа Data Services Workgroup, к которой привлечены лучшие кадры известных BI/Big Data-разработчиков.