Big Data. Под давлением информационной лавины

Big Data. Под давлением информационной лавины

5535 27 января, 2016 год

Сегодня наблюдается большой интерес к технологиям класса Big Data. На всех профессиональных конференциях, связанных с IT, бизнес-анализом и прогнозированием спикеры оперируют этим модным термином. Именно рост популярности решений Big Data эксперты называют одним из главных трендов 2016 года. Разбирались, как анализ «больших данных» поможет бизнесу, как извлечь нужную информацию и обезопасить себя с помощью новых технологий.


Что такое Big Data

Термин Big Data используют в сферах, где людям приходится работать с очень большими объемами данных, а скорость потока данных постоянно увеличивается. Это касается банковской и телекоммуникационной отраслей, маркетинга, веб-аналитики, практически любого производства, медицины, торговли и т. д.

«Речь идет об информации о банковских транзакциях. Каждая операция клиента банка ведет к генерации большого числа данных различного формата: взаимодействие клиента с программным обеспечением, журналирование внутрибанковских операций, обязательная регистрация всех данных регулятором», — приводит пример заместитель начальника отдела инфраструктурного программного обеспечения «Открытые Технологии» Никита Рогатов.

«Или, например, банк хочет выдать кредит заемщику и располагает данными о содержимом его входящих sms», — дополняет Максим Мостовой, CEO, Куппи.ру. — Из этого массива информации финучреждение больше всего интересуют уведомления о поступлении зарплаты на банковскую карту и sms о расходах — магазины, развлечения, авиабилеты и т. п. То есть Big Data — это извлечение важной информации из большого массива данных».

Заместитель директора департамента инжиниринговый центр компании «Техносерв» Руслан Хайруллов уточняет: «У любой организации есть информационный архив и существенный поток данных, который зачастую лежит мертвым грузом, не играя роли в процессах управления бизнесом. Технологии Big Data умеют работать с разными типами данных, анализируя их».

Считает, что неправильно понимать под Big Data только те данные, которые больше определенного объема или которые нельзя обрабатывать на одном компьютере генеральный директор проекта SocialKey Ads компании Digital Society Laboratory Светлана Ермаченкова: «Скорее, это методы и технологии хранения и обработки данных, благодаря которым можно обогащать информацию любого объема», — комментирует она.

«Говоря простым языком, Big Data — это огромное количество дискуссий на тему „как лечить грипп“. Все лайфхаки по лечению гриппа. Много лайфхаков. И чтобы их обработать и найти что-то стоящее (100% реально работающий лайфхак), потребуется не один час. То же самое с Big Data в бизнесе. Данных много, а как их использовать и анализировать — вопрос. Только представьте, в масштабах какого-нибудь старого медицинского форума, например, Big Data — это все сообщения со времени его создания, в которых есть слово „перелом“ или „насморк“», — пояснила старший редактор Medaboutme Ксения Ульянова.



Итого под понятием Big Data подразумеваются:

— данные, характеризующиеся объемом, не укладывающимся в привычные ныне всем рамки терабайтов,

— разнообразие форматов и структур данных.

— скорость генерации новых данных, их значимость и способность генерировать прибыль.

Насколько они большие

Специалисты описывают «размеры» Big Data в порядках терабайт.

«Big Data это действительно огромные объемы информации. Чтобы их представить, приведу пример работы американской биржи NYSE. Ежедневно при работе биржи записывается более 1 терабайта данных — при электронной торговле акциями сделки заключаются за микросекунды, поэтому можно представить себе объем и скорость обработки данных за день», — поясняет Дженнифер Трелевич, директор отдела риска и рыночных данных Технологического Центра Дойче Банка в России.

Никита Рогатов говорит о 2,3 трлн гигабайтах, которые генерируется ежедневно. А по прогнозам экспертов, к 2020 году эта цифра достигнет 43 трлн.

«Современный мониторинг данных от IT-систем — это тоже большие данные. Даже простая численная оценка для отдельного малого филиала дает показатели, измеряемые миллионами или миллиардами. Для примера, мониторинг 250 устройств в сети дает следующие примерные оценки. 250 IT-устройств * 10 ресурсов на устройство * 3 метрики на ресурс * 2 измерения в минуту = 21 млн измерений в сутки», — приводит пример Руслан Хайруллов

«Объем данных постоянно растет, и то, что сегодня принято считать большим, завтра будет умеренным, а послезавтра маленьким, — рассказывает соучредитель и технический директор Preply Дмитрий Волошин. — К тому же, „большие данные“ — это не просто объем в чистом виде, как может показаться из названия концепции. Это еще и скорость: когда мы можем в режиме реального времени получать интересующую нас аналитическую информацию. „Большие данные“ — это и разнообразие типов информации, например, текст, изображения, видео, аудио».




В чём польза для бизнеса

Как анализ больших данных может помочь малому, среднему, крупному бизнесу? Какие задачи решает Big Data? Сейчас большие данные «вторглись» во все сферы нашей жизни: государственная безопасность, здравоохранение, маркетинг, банки, связь и пр. Спектр решаемых задач — это не только генерация прибыли, но и ее сохранение, обеспечение безопасности.

Вот некоторые из примеров реальных кейсов для больших данных от Никиты Рогатова:

— улучшение имеющихся моделей с использованием новых, нетрадиционных источников информации,

— отслеживание подозрительных транзакций,

— прогнозирование вероятности наступления страхового случая,

— предупреждение фактов внутреннего и внешнего мошенничества,

— прогнозирование спроса на продукты,

— анализ предпочтений клиента, создание «портрета клиента», персонализация маркетинга,

— анализ клиентской базы,

— управление оттоком клиентов.

Руслан Хайруллов поясняет, что суть Big Data для бизнеса — монетизация большого объема не всегда структурированных и достоверных данных о потребителе, в том числе поиск, изучение потребностей клиента, поиск наиболее подходящих инструментов по доставке услуг клиенту и т. п.

Применяемые в Big Data методы и инструменты известны давно: поиск ранее неизвестных и практически полезных данных в большом объеме данных осуществляли математики в 70-80-х годах прошлого века. При этом уже тогда они ставили перед собой две задачи:

— описательные (Big Data) — поиск скрытых закономерностей, например, наиболее покупаемого набора продуктов в корзине покупателя, сценариев поведения клиента в магазине, помогающих мерчендайзерам найти географическую позицию товара в магазине, резко повышающую вероятность его продажи.

— предсказательные (Smart Data) — обнаружение событий на основе ранее обнаруженных сценариев поведения. Например, мошенника или в программах лояльности — прогнозирование поведения клиента, основываясь на закономерностях его поведения в прошлом.

Кроме известных математических задач, современный бизнес добавил к ним свою: сделать Fast Data (быстрые данные), то есть обнаруживать данные в режиме онлайн, давать бизнесу информацию для принятия решения мгновенно.

Big Data начинают интересоваться владельцы торговых сетей. Для них знание о перемещениях посетителей (отслеживается через Wi-Fi) открывает неограниченные возможности для рассылки рекламы. Уже давно работает с Big Data телеком, который предоставляет биллинг. Операторы обладают огромным количеством информации, как о функционировании сети, так и о своих абонентах (местоположение, поведение, пристрастия).

Светлана Ермаченкова отмечает, что в сфере интернет-рекламы работа с Big Data помогает в решении следующих бизнес-задач:

— выход на целевую аудиторию благодаря персонализированному контакту с ней. Это дает возможность компаниям подавать информацию как естественную, тогда аудитория не воспринимает ее как рекламу.

— оптимизация бюджетов на рекламную кампанию благодаря анализу данных пользователей (социально-демографические показатели, интересы и предпочтения) и точечной работе с ней.

В качестве результата от использования — рост целевых обращений в компанию: звонки, заявки, посещение офисов продаж, увеличение среднего показателя совокупной прибыли компании, получаемой от одного клиента за время сотрудничества с ним.

«Новейшие технологии позволяют компаниям получать больше сведений о своем клиенте, формировать индивидуальные предложения, ведущие к максимальной конверсии, прибыли», — резюмирует Максим Мостовой.

Ксения Ульянова дополняет: «Анализируя Big Data, можно нащупать тренд. Пример: поток участившихся сообщений на медфорумах на тему сухости слизистой носа. Ответ бизнеса — производство изотонических растворов (фарма), производство увлажнителей для дома (бытовая техника)».

Безопасность превыше всего

Очевидно, что при наличии в системе большого количества данных должен обеспечиваться и высокий уровень безопасности. В первую очередь, чтобы не допустить утечки ценной и конфиденциальной информации.

Никита Рогатов рассказывает: «Особенность больших данных — это наличие тонкой грани между той прибылью, которая может быть получена, и вторжением в частную жизнь конкретного человека. Глобализация в дополнение к этому накладывает дополнительные ограничения в виде трансграничных законов и требований. Показательный пример — это недавнее требование хранения персональных данных россиян на территории нашей страны. Но как выделить из общей массы именно наших сограждан, как соблюсти требования закона и не нарушить существующие бизнес-процессы и технологические препятствия?».

«Хранение Big Data не всегда приводит к получению выгоды», — считает Евгений Павловский, кандидат физико-математических наук, Новосибирский государственный университет. -Если собирать много данных и не тех, которые приносят пользу, то можно сформировать значительных размеров «помойку». В этом главная слабость и главный вызов Big Data: если собирать данные, соответствующие определённой цели, то в обработке этих данных вы вряд ли сможете решить другие задачи».



Из слабых сторон Big Data Светлана Ермаченкова отмечает недостаточную развитость инфраструктуры и проблемы правового регулирования из-за того, что это относительно молодой инструмент, и сложности по внедрению новых подходов и сбору данных, зачастую из-за нехватки экспертизы и финансовых ресурсов.

Когда мы говорим о Big Data, Максим Мостовой подчеркивает, что речь идет не о самой информации, а о данных, получаемых в ходе ее обработки, и сравнивает информацию с куском камня, из которого скульптор высекает свои шедевры: «Вот этот процесс и называется Big Data. Развивая тему с камнем, можно добавить, что его хранение не приносит никакой пользы, как и хранение информации о клиентах не приносит выгоду компаниям. В Big Data нет слабостей, есть слабость специалистов, обрабатывающих информацию. Алгоритмы обработки до конца не ясны и, по сути, в каждом отдельном случае приходится изобретать их с нуля».

Хранение Big Data — головная боль многих компаний, считает Ксения Ульянова. Особенно, когда эти данные связаны с информацией, которую не очень-то хочется разглашать. Например, сведения о пациентах наркологических диспансеров в масштабах страны. Взломать базу данных и раскрыть информацию легко. А последствия могут быть очень печальными.

«Утечка большого массива данных грозит столь же большими последствиями. Последний громкий случай с утечкой с сайта знакомств Ashley Madison лишь подтверждает это. Тема муссируется в СМИ уже который месяц, в огромном количестве украденных данных постоянно находят новые подробности о функционировании сайта и информацию об их клиентах, и маловероятно, что Ashley Madison когда-нибудь оправится от подобного удара, — рассказывает Лина Данильчик, компания Falcongaze. — Безрассудно собирать информацию о пользователях и не позаботиться об их безопасности. Именно вопросы безопасности данных — главный барьер на пути внедрения этих технологий».



Руководитель компании Onetrak Михаил Препелицкий отмечает, что не все собираемые данные непосредственно привязаны к прибыли: «Порой информация нужна для эксперимента, особенно в области медицины. Если говорить о механизмах аналитики Вig Data можно предсказать, что погоня за данными способна спровоцировать чрезмерно назойливое поведение со стороны тех, кто собирает информацию о потребителях. Например, сотовые операторы всегда знают, что предложить абоненту, исходя из информации, где он находится и какие запросы делает в поисковиках. Есть вероятность, что возникнет целая индустрия по продаже информации, полученной не совсем легальными способами. Чем больше данных будет собираться и сохраняться, тем больше станет и возможностей у хакеров обмануть и слить информацию, так как ее стоимость будет непрерывно расти. В другом же технологии Big Data идут только на пользу».

Без современных технологий не обойтись. С помощью Big Data можно активизировать продажи, избежать убытков, научиться разрабатывать продукты и сервисы под запросы пользователя. Словом, перед бизнесом открываются колоссальные возможности. Главное — научиться ими правильно пользоваться.

В журналистике с 2004 года. Основные темы: бизнес, банки, страхование, туризм, гаджеты, здоровье, роскошь.

Как выбрать кассу для своего бизнеса 71861
На чем и сколько зарабатывают продюсеры онлайн-курсов 18868
Кого ЦБ РФ не пустит на финансовый рынок 13058
6 мифов об онлайн-школах, в которые вы хотите верить 9761