Список наших авторов растет. Предлагаем вашему вниманию статью Дениса Афанасьева, директора департамента «Решения BI и отчётность» компании «Диасофт». Денис приготовил эту статью для журнала Connect, но также решил поделиться и с нами. Далее о том,  что же такое BigData и как извлечь максимум пользы из накопленных данных, особенно в сфере кредитных организаций.

Data Activation RoadMap

Денис Афанасьев

Я думаю не надо лишний раз говорить о том, что тема Big Data является темой на текущий момент более чем актуальной, популярной и ее упоминание в различных материалов на текущий момент просто зашкаливает, не надо. Действительно, в мире ИТ часто появляются термины, берущие свое начало в области технологий, и казалось бы имеющие четкое и однозначное определение, но по мере того, как данная технология получает распространение, термин начинает приобретать больше маркетинговое значение, под соусом которого самыми разными поставщиками и производителями подаются все более и более широкий спектр продукции.

Именно в такой ситуации находится и Big Data, термин, ставший одновременно и трендом развития ИТ-систем и технологий, и брендом, который помогает в продвижении и маркетинге. При этом, на мой взгляд, несмотря на обилие материалов и перенасыщенность информационного пространства по этой теме, трактовка данного термина очень сильно разница и зачастую под ним подразумевают самые разные понятия. Поэтому прежде чем говорить о применимости данного термина для финансовых организацией, давайте договоримся, что такое Big Data в контексте именно этого материала.

Прежде всего, Большие данные — это инфраструктурное понятие, подразумевающее под собой стек технологий, который позволяет быстро обрабатывать огромнейшие объемы информации. Данный стек на текущий момент чрезвычайно широк. В него входят и компоненты хранения данных, их обработки и визуализации. При этом отсутствие четкого определения, какой же объем данных является большим, сильно размывает границы применения данного термина. Но технология сама по себе интересна только самим ИТ-специалистам.

Очень важно не только иметь хорошую технологию, но и найти ей правильное применение. И вот тут-то, если посмотреть на Big Data через призму прикладных задач, можно обнаружить, что примеры применения данной технологии зачастую очень разные и неожиданные. Ведь умение обработать большой массив позволяет находить ответы на самые неожиданные вопросы, которые раньше просто физически не могли быть обработаны. Это и предсказание эпидемий гриппа по данным запросов поисковых систем (Google Flu), и данные анализа активностей пользователей социальных сетей, позволяющих определить, например, потоки миграции людей и т. д.

Поэтому главное сейчас — это умение задавать правильные вопросы, ответы на которые позволят вашему бизнесу развиваться и достигать новых выдающихся результатов. Big Data сейчас — это креативность, а не технология. Это умение находить новые неожиданные связи между разными массивами информации. Умение исследовать эти массивы и умение превращать информацию в знания, а значит — умение извлекать пользу из большого массива информации. Вот что следует понимать под термином Big Data в его современной интерпретации.

Поэтому в вопросе развития ИТ-инфраструктуры предприятия, прежде всего, нужно определить основные прикладные направления, требующие технологической поддержки по обработке большого объема данных.

В финансовом секторе уже можно выделить несколько прикладных задачах, для решения которых уже успешно применяются инновационные технологии.

Прежде всего, это системы по борьбе с мошенничеством. В этой, чрезвычайно важной для финансовой организации области, успех в которой не только позволяет сократить операционные расходы и повысить качество услуг для конечного клиента, но и зачастую является вопросом выживания компании, новые технологические возможности оказались востребованными в самую первую очередь. В качестве примера можно привести компанию Visa, которая недавно опубликовала информацию о том, что использование технологий Big Data позволило ей значительно улучшить процент определения мошеннических транзакций по пластиковым картам. Так, в 2005 году, компания анализировала только 2% всех операций, и на основании данного анализа строила модели определения мошеннических транзакций, которые уже применялись для проверки каждой транзакции. Сейчас же компания способна анализировать все транзакции, а так же провела расширение количества анализируемых атрибутов по каждой транзакции с 40 до 200, добавила новые типы анализируемой информации (например, данные геолокации).

Другой пример — корпорация CitiGroup использует технологии анализа данных для мониторинга состояния рынка путем анализа информационных сообщений новостных лент и сообщений в социальных сетях. Это позволяет компании предсказывать вероятность дефолта по кредитам и выявлять факты мошенничества. Все это позволило компании значительно улучшить свой инвестиционный портфель.

Огромные возможности технологии Big Data дают финансовым институтам и для улучшения их собственных продуктов. Конечно, в первую очередь тут идет речь о персонификации продукта под нужды каждого конкретного клиента, что позволяет повысить продажи, а значит, дать бизнесу реальную отдачу от применения технологий.

Технологии анализа накопленных организацией исторических данных о действиях клиента позволяют правильным образом спозиционировать финансовый продукт, что бы он максимально заинтересовал клиента. Анализируя, например, историю операций по счету можно определить, например, есть ли у клиента автомобиль, как часто он ремонтируется и предложить клиенту не просто кредит, а покупку нового автомобиля. По информации компании McKinsey, использование накопленных исторических данных для позиционирования продуктов, позволяет в 2 раза повысить уровень принятия клиентами таких предложений.

Вообще, решении задачи накопления данных, генерируемых компанией, является первоочередной на этапе перехода к использованию технологий Big Data. И важно начать их накапливать как можно раньше, потому что эти данные чрезвычайно важны. Именно они являются отражением всей деятельности именно вашей компании, ее клиентов, ее бизнес-модели и являются уникальными. Этими данными могут быть не только то, что мы имеем ввиду в традиционном смысле, когда говорим о данным компании (данные транзакционных систем, CRM систем и тд), но и такие данные, как история просмотра сайта компании в сети интернет, история посещений клиентом офиса компании и т. д.

Что бы дать бизнесу преимущество использования этих данных в перспективе двух-трех лет, уже сейчас надо организовывать сбор и хранение всей возможной информации. Технологии для автоматизации этой функции в линейки решений, относящихся к Big Data, наверное, наиболее развиты. Существуют и специализированные базы данных, и распределенные системы хранения неструктурированных данных и специализированные программно-аппаратные решения ведущих вендоров. Нельзя исключить из этого списка и традиционные системы построения хранилищ данных.

Таким образом, в качестве первого шага, на пути развития инфраструктуры компании в сторону Big Data является шаг “Накапливать”, на котором необходимо идентифицировать все необходимые источники данных, организовать их сбор и хранение.

Далее все эти данные можно объединять с внешними, по отношению к организации, данными. Дело в том, что если посмотреть на ситуацию с данными в глобальном масштабе, то можно увидеть, что данные имеет кластеризацию по различным бизнес-областям, или, другими словами, информационными доменами. Можно выделить домен данных финансовых организацией. Это примерно одни и те же по структуре и наполнению данные (списки клиентов, списки транзакций и тд) с общепринятыми внутри домена правилами структуризацией и атрибутами. Но существуют и другие такие информационные домены. Например сфера здравоохранения. В ней так же происходит накопление большого объема специфичной для данного направления данных. Мы можем активировать данные, путем установления соответствия между данными из одного информационного домена и данными другого информационного домена, получив таким образом новый массив информации, в котором скрыт новый, недоступный ранее пласт знаний.

Сейчас в мире формируется новый рынок — рынок данных. Данные становятся ценностью, и, не только те, которые уже привычно являются предметом широкого распространения, типа информация по стоимости финансовых инструментов, но и информация, которая накапливается в интернете сотнями сайтов, социальных сетей и прочих площадок с высокой посещаемостью.

Сейчас информация, которая может быть собрана об активности пользователя в интернете, активно используется в сегменте сетевого маркетинга. Путем обработки данных о поисковых запросах и истории просмотра страниц сайтов возможно извлечь информацию не только о социально-демографическом профиле пользователя, но и понять сферу его интересов, то, что интересует его в настоящий момент.

Объединив эту информацию с данными, накопленными внутри компании, дает финансовой организации уникальные возможности.

Поэтому в качестве второго шага можно однозначно зафиксировать “Активировать данные”, то есть определить информационные домены, данные которых могут принести дополнительную пользу организации, и построить механизмы установления соответствия между этими информационными пространствами.

Новые знания о клиенте позволяют вывести на новый уровень механизмы скорринга. Интересен пример американской компании ZestCash, которая занимается кредитованием физических лиц. В отличии от традиционных моделей принятия решения о кредите, которые основывались на данных кредитного бюро о кредитной истории заемщика, компания использовала данные о поведении клиента в сети интернет. Это позволило построить скоринговую модель для оценки кредитных рисков для клиентов без кредитной истории или даже с отрицательной кредитной историей. Оперирование в области данного клиентского сегмента, от которого отказываются многие банки, использующие более традиционную модель, позволило компании занять лидирующее положение на рынке.

Так же похожий бизнес-кейс есть и у страховых компаний. Дополнительные знания, полученные о клиенте, позволяют выявить факты мошенничества при оформлении страховки, а так же более точно определить риск.

Ну и конечно возвращаясь к теме маркетинга, новые знания дают неограниченные возможности для формирования продуктовых предложений. Понимание нужд клиента в момент его контакта с банком, является заветной мечтой маркетологов, и именно сейчас технологии позволяют ее осуществить.

Использование технологий анализа данных с помощью современных инструментов из стека Big Data (инструменты статистической обработки данных, визуализации данных, интеллектуального анализа данных, машинного обучения) позволяет найти в информации знания, которые так необходимы нашим бизнес-заказчикам. Сейчас эта дисциплина только зарождается. Большинство из этих навыков не хватает во многих организациях и на рынке в целом.

Тем не менее, третьим шагом можно зафиксировать: “Извлечь знания”.

Таким образом, как и было обозначено в начале данной статьи, Big Data — это использование творческой комбинации различных типов данных и человеческого знания.