Компания AtScale выпустила новый отчет по состоянию и уровню зрелости работы организаций с большими данными и существующих в этой области проблемах. О содержании этого отчета рассказал портал InformationWeek.
Ажиотаж вокруг понятия «большие данные» явно пошел на спад, но это не значит, что организации теряют интерес к аналитической обработке огромных массивов данных с использованием технологий типа Hadoop и Spark. Повторяя путь многих других технологий, большие данные уже перешагнули через пик массированной рекламы. Хотя их конечно еще нельзя отнести к мейнстриму, они стали намного ближе к практической деятельности организаций, чем всего лишь пару лет назад.
С чем это связано? Как отвечают 26% CIO, использование средств бизнес-аналитики (BI) оказывает помощь в дифференциации бизнеса компаний от конкурентов, что делает соответствующие технологии инвестиционным приоритетом. Однако 91% организаций еще не достигли «трансформационного» уровня зрелости в данных и аналитике. Признаком этого уровня является превращение данных и аналитики в основу для ведения бизнеса, и, когда это происходит, важно, чтобы CDO (должностное лицо, заведующее обработкой и анализом данных) входило в совет директоров организации.
AtScale, занимающаяся соединением BI с Hadoop и большими данными, внимательно наблюдает за эволюцией использования больших данных в организациях разных масштабов. С 2016 г. компания выпускает регулярные отчеты, касающиеся состояния и уровня зрелости работы организаций с большими данными. Вот и теперь AtScale опросила 5593 специалиста по работе с данными из 429 компаний разных стран мира, включая всех трех главных поставщиков дистрибутивов Hadoop, а также Tableau Software, Linux Foundation и Apache Foundation. Учитывая состав респондентов, понятно, что опрос в первую очередь представляет организации, уже использующие технологии больших данных, например, Hadoop, или склонные к их внедрению. Отчет AtScale 2018 можно назвать мгновенным снимком главных проблем этих организаций, их сегодняшних возможностей и вопросов, требующих решения.
Завышенная самооценка. Как выяснилось, организации несколько переоценивают уровень своего продвижения вперед. В нынешнем году 78% респондентов оценили свой уровень зрелости по линии больших данных как средний или высокий. Однако по оценкам на базе методологии AtScale высокий уровень зрелости имеют лишь 12% тех же организаций.
Разобщенность децентрализованной аналитики. Одна из главных проблем, испытываемых этими организациями, относится к разряду тех, что не решаются десятилетиями. Это разобщенность в работе с данными и аналитикой и отсутствие централизованных подходов, которые признают 55% респондентов. Согласно отчету AtScale, с этой проблемой лучше справляются компании, работающие в сфере интернет-сервисов и коммунальных услуг, и менее успешны представители секторов финансовых услуг и телекоммуникаций.
Облако. В ближайшей перспективе роль облака в работе с данными и аналитике может возрасти. К использованию облака для больших данных положительно относится 77% респондентов. При этом 11% ответили, что планируют задействовать для работы Google BigQuery, а 60% исследуют возможности этого сервиса. Более 40% респондентов считает, что облако — лучший вариант, чем локальные решения.
Самообслуживание. Хотя в больших данных имеется тренд к переходу в облако, этот путь не универсален. По данным опроса AtScale, 59% респондентов против прошлогодних 53% развернули свои решения для больших данных в облаке. Однако этот переход затрудняет доступ к данным для конечных пользователей. В результате доля организаций с самообслуживаемым доступом к большим данным упала с прошлогодних 47 до 42%.
Рост популярности Microsoft Power BI. Пользовательская база Microsoft Power BI за последние годы заметно выросла, и опрос AtScale это подтверждает. Респондентов попросили назвать их наиболее предпочтительные инструменты BI для больших данных, и первую тройку составили Tableau, Microsoft Excel и Power BI. Для Power BI, который в прошлом году находился на седьмом месте, это большой успех.
Растущая проблема управления работой с данными. Опрошенных специалистов по данным беспокоят умножение числа используемых инструментов и платформ и децентрализованность в работе с данными и аналитикой. Как причина для озабоченности управление работой с данными заняло в 2018 г. второе место, переместившись с пятой позиции в 2016 г. На первой же позиции все последние три года остается дефицит кадров специалистов.
«Работать с Hadoop у себя дома трудно, — сказал CEO AtScale Дев Мариани. — Этим трудно управлять, так как лишь немногие компании имеют нужных специалистов. И ряд компаний категорически сторонится локальных решений».
С растущей популярностью облака для решений по аналитике больших данных главной причиной для тревог в ближайшие годы могут стать совершенно другие вещи. Как считают в AtScale, организации начнут волновать риск постоянной привязки к одному облачному вендору и трудности смены провайдера при изменении обстоятельств или наличии более эффективных предложений. Многие организации убеждаются в выгоде использования средств нескольких провайдеров и считают более правильным выбором многооблачную стратегию.
