Большие данные, или Big Data — это огромные массивы ценной информации, которую сложно обработать вручную. Например, действия пользователей в соцсетях можно использовать для таргетирования рекламы. Но собрать активность всех пользователей в одну таблицу и быстро проанализировать невозможно — информации слишком много, для её обработки нужны специальные программы и хранилища. Поэтому такой тип данных называют большими.
В этой статье разберём, что означает Big Data, для чего её собирают и как работают с этой технологией разные компании.
Что относится к Big Data: критерии данных
Впервые о больших данных заговорили в 2008 году. Редактор журнала Nature Клиффорд Линч отметил рост разнообразия информации в интернете и её количества. Поэтому он предложил относить к Big Data неоднородные данные объёмом свыше 150 ГБ в сутки: онлайн-покупки, данные cookies или умных устройств — любая информация, которая ежедневно накапливается в сети. По отдельности она может не представлять интереса, но в совокупности — принести пользу.
.png)
Отделить обычную информацию от Big Data помогают определённые характеристики. Сначала их было три, затем пять, а позже список увеличился до десяти критериев. Перечислим основные:
- Volume — объём. Данные должны быть настолько большими, чтобы работа с ними требовала специальных инструментов. Точного порога нет: объём может измеряться в терабайтах, петабайтах и даже эксабайтах.
- Velocity — скорость. Говоря простыми словами, когда данные появляются быстрее, чем их успевают обработать — это Big Data. Например, большой адронный коллайдер поставляет около 40 терабайт информации в секунду. На её анализ учёным придётся потратить годы.
- Variety — разнообразие. Информация в Big Data может быть в разных форматах. Например, в соцсетях встречается не только текст, но и фото, видео или аудио.
- Veracity — достоверность. Когда много данных приходит из разных мест, случаются ошибки. Неточности влияют на результат, поэтому в базу Big Data должна попадать только качественная информация из надёжных каналов. Для её очистки используют фильтры, инструменты верификации и валидации.
- Value — ценность. Важно не просто иметь информацию, но и извлекать из неё пользу. Так, никнеймы всех покупателей с маркетплейса вряд ли пригодятся бизнесу. А вот информацию о заказах с датами, суммами и списком покупок можно использовать для активностей, нацеленных на увеличение продаж.
Если первые три критерия не соблюдены, суть Big Data теряется. В этом случае говорят о малых данных. Они лучше структурированы и могут обрабатываться одним человеком в режиме реального времени.
| Small Data | Big Data |
| Оценка удовлетворённости персонала кофейни | Оценки удовлетворённости сотрудников в IT-корпорации. В том числе тексты отзывов, записи интервью и результаты опросов |
| Список слушателей музыкального сервиса | Данные о прослушанных треках и реакции пользователей на них: число лайков, прокруток и повторов каждой композиции |
| Посещаемость сайта в системе веб-аналитики | Журнал событий сайта: информация о сбоях, действиях каждого пользователя, обмене данных с другими сервисами и другие логи |
Зачем и как используют технологии Big Data
Технологии больших данных, или Big Data, используют в промышленности, логистике, медицине, науке, финансах и других сферах, где компании могут собирать большой массив информации. Их внедряют, чтобы лучше узнавать потребности людей, разрабатывать новые продукты или избегать ошибок. Поясним на примерах.
Глубокая аналитика
Big Data помогает обнаружить паттерны поведения клиентов и их интересы, чтобы лучше продвигать продукты или услуги. Например, канал о единоборствах UDAR с её помощью смог найти новую аудиторию: компания изучила поведение зрителей с помощью данных от телеком-операторов. Исследования показали, какие сайты посещают поклонники единоборств, а также в какое время люди находятся дома и готовы включить телевизор. Канал учёл эти факторы в рекламе и привлёк более 30 тыс. новых зрителей.
Прогноз рисков
Большие данные приносят настолько много информации, что по ней можно практически предсказывать будущее. А точнее — строить модели поведения и учитывать возможные риски.
Например, чтобы быстро выявлять мошенников, Wildberries анализирует действия людей внутри маркетплейса. Так компания избегает фишинга, поддельных заказов, злоупотребления бонусной программой. Итог — защита бренда от финансовых и репутационных потерь. Похожий подход практикуют банки, чтобы вычислить ненадёжных клиентов и снизить риск невыплаты кредитов.
.png)
Оптимизация процессов
Обработка данных Big Data может помочь быстрее закрывать задачи и экономить ресурсы. Это особенно важно там, где нужно быстро работать с заявками клиентов. Например: в e-commerce, финансах или логистике.
Так, логистическая компания «Маршал» сократила время подбора водителей с восьми часов до 30 минут. Раньше логисты вручную искали перевозчика: выбирали варианты из баз данных и обзванивали компании, чтобы узнать тарифы и свободные даты. Процесс мог занять весь день.
После внедрения работы с Big Data поиск исполнителей сделали автоматическим. На основе сведений о предыдущих заказах алгоритм находит подходящих исполнителей в нужном регионе и выводит их расценки. Оператору остаётся связаться с перевозчиками и обсудить детали. В итоге клиент быстрее получает коммерческое предложение.
Персонализация предложений
Бигдата позволяет изучить потребности людей и создать продукт, который будет соответствовать ожиданиям. Например, чтобы улучшить корпоративную программу здоровья, Т-Банк собрал большой объём данных о сотрудниках. Аналитики Big Data объединили статистику по полу, возрасту, количеству рабочих часов и составу семьи.
Поэтому в ДМС включили пакеты для родственников, а внутри компании запустили спортивное приложение, в которое можно добавить программу тренировок и участвовать в челленджах. Благодаря этому, сотрудники стали чаще заниматься спортом, а их удовлетворённость компанией выросла.
С помощью больших данных можно персонализировать и контакты с клиентами. CDP Sendsay позволяет настраивать контент в рассылках с учётом интересов подписчиков. Например, обращаться к клиентам по имени, поздравлять их с днём рождения, а также предлагать товары на основе истории их покупок.
Таким образом, вместо стандартного письма человек получает персональное сообщение и с большей вероятностью откроет его. За счёт этого email-маркетинг может стать эффективнее: вырастет конверсия в покупку и увеличится лояльность клиентов.
Расширение бизнеса
Анализ больших данных помогает найти точки роста, чтобы бизнес мог увеличить прибыль и нарастить обороты. Например, компания «Бринэкс» использовала данные от «Честного знака», чтобы оценить спрос на шины в регионах. Специальные коды на каждом товаре фиксировали путь товара от производства к покупателю. Так удалось отследить, где лучше продаются шины и в каком объёме.
Данные помогли точно оценить потребности покупателей и потенциал рынка. В результате там, где есть спрос, компания расширила ассортимент, а там, где он низкий, — сократила поставки и сэкономила на логистике.
Как компании реализовать проект Big Data
Внедрение Big Data — это не только про корпорации. Извлечь пользу из больших данных может и средний, и малый бизнес. В этом помогут готовые инструменты и сторонние поставщики данных. Независимо от величины проекта этапы работы с Big Data всегда одинаковы. Вот с чего можно начать.
1. Выберите гипотезу
Подумайте, какую проблему должна решить Big Data. Например, повысить конверсию на сайте или привлечь новых клиентов. Это поможет понять, какие данные предстоит собрать.
Например, Ozon для разработки системы рекомендаций использовал логи пользователей. На сайте и в приложении маркетплейса фиксировались все просмотры, скроллы и клики товаров. Эти данные помогли настроить ленту предложений и позволить рекламодателям запускать таргетированную рекламу внутри Ozon.
2. Определитесь с источниками информации
Источники бывают разными, например:
- Социальные напрямую относятся к людям — это активность в блогах и СМИ, статистика по рождаемости или налогам, семейное положение и прочее.
- Машинные — это датчики и устройства из интернета вещей. Например, смартфонов, автомобилей, умных часов или холодильников.
- Транзакционные предоставляют данные о платежах и расходах.
Так, чтобы улучшить продажи, можно использовать данные с сайта, CRM и CDP, онлайн-касс, соцсетей, мобильных приложений. Оттуда можно извлечь данные о продажах, покупательском поведении и так далее.
Проанализируйте имеющуюся информацию и определите, хватит ли её для тестирования гипотез. Если недостаточно, воспользуйтесь готовыми подборками данных — датасетами. Их можно купить, например, у сотовых операторов или взять бесплатно. Так, есть бесплатная бигдата от Всемирной организации здравоохранения, которая содержит статистику по медицинскому персоналу, заболеваниям и качеству окружающей среды. Эти данные можно использовать для планирования медицинских услуг и ресурсов.
3. Подключите нужные ресурсы и наймите специалистов
Хранить Big Data можно на локальных распределённых серверах либо в облаке. Выбор способа зависит от задач бизнеса, бюджета и параметров входящей информации. Ниже — несколько примеров таких хранилищ:
- Data Lake — так называемые озёра данных. Сюда собирают всю информацию, которая может быть полезна: видео, логи, показания датчиков, таблицы и прочее. Данные могут быть неструктурированные и неочищенные. Пример: Arenadata Hadoop.
- Data Warehouse — хранилище данных, куда переносят информацию из озёр, чтобы всё структурировать, очистить и анализировать. Например, чтобы быстро получить выборку по продажам за последний квартал. Пример хранилища: Amazon Redshift.
- Database — небольшое хранилище для данных, которые постоянно используются. Главная задача: хранить информацию, которую нужно быстро находить и менять. Например, обновлять остатки товаров при каждом заказе. Одно из таких хранилищ — Apache Cassandra.
Также для управления Big Data понадобятся специалисты. Это могут быть:
- Инженеры бигдата — создают и обслуживают системы для сбора, обработки и хранения данных. Иными словами, дата-инженеры готовят информацию к дальнейшей работе.
- Аналитики бигдата — проверяют, очищают и визуализируют данные с помощью BI-систем, а затем дают им оценку. Аналитики работают над актуальными проблемами. Например, могут найти причину низкого спроса.
- Дата-сайентисты — делают выводы на основе собранных данных, а затем программируют модель событий. Например, зная спрос на товар за предыдущие годы, дата-сайентист может предсказать успех новой коллекции.
Использование Big Data требует не только особых знаний, но и мощного оборудования, поэтому разовые проекты рациональнее отдавать на аутсорс. Подрядчик может взять на себя как часть задач, например, разметку массива данных, так и весь процесс — от сбора информации до составления прогнозов.
4. Настройте сбор данных
Далее нужно настроить все интеграции и технические нюансы, чтобы информация правильно собиралась, систематизировалась и очищалась. В процессе сбора может накапливаться «мусор»: некорректные записи, ошибки, дубли. Поэтому важно продумать систему очистки: исключать повторы, убирать несоответствия и приводить данные к единому виду. Этот процесс называется Data Cleaning — без него анализ данных будет некорректным.
5. Решите, как анализировать данные
Обрабатывать огромные массивы информации можно разными способами. Ниже — несколько примеров, как именно это можно делать.
Машинное обучение. Компьютер анализирует данные и на их основе создаёт алгоритм для решения конкретной задачи. Не нужно программировать каждое правило отдельно.
Как использовать на практике: загрузить в систему историю действий покупателей. Алгоритм проанализирует её и определит, кто из клиентов давно не покупал и потенциально может совершить заказ в ближайшее время. Затем этим людям можно отправить персональные предложения с мотивацией к покупке.
Нейросети. Это сложная система, которая учится решать задачи, с которыми не справляются обычные алгоритмы. Например, распознавать изображения или понимать человеческую речь. Нейросети позволяют автоматизировать задачи, которые требуют человеческого восприятия: модерацию контента, анализ отзывов, поиск взаимосвязей между разными данными и так далее.
Как использовать на практике: нейросеть анализирует входящие письма и обращения и автоматически распределяет их по темам и срочности. Критические жалобы — сразу старшему менеджеру, вопросы по доставке — в логистический отдел.
Предиктивная аналитика. Метод помогает прогнозировать будущие события на основе исторических данных. Он позволяет оптимизировать запасы на складе, предугадывать спрос на товары, планировать расходы на ремонт и так далее.
Как использовать на практике: на заводское оборудование установить датчики, которые будут собирать данные о вибрации, температуре и нагрузке. Система проанализирует их и предскажет, когда конкретный узел выйдет из строя.
Интеллектуальный анализ данных (Data Mining). Это поиск скрытых закономерностей, связей и аномалий в больших массивах информации. Помогает находить неочевидные инсайты для повышения среднего чека, удержания клиентов, оптимизации ассортимента и так далее.
Как использовать на практике: анализ чеков может показать, что товар А часто покупают вместе с товаром Б. На основе этого можно настроить систему рекомендаций, сделать допродажные рассылки и так далее.
Внедрение работы с большими данными — долгий процесс. На него может уйти в среднем до полутора лет. Сроки зависят от типа проекта — в некоторых случаях только для подготовки к сбору и обработке данных потребуется погода, а ещё нужно обучить сотрудников, внедрить Big Data в рабочие процессы и далее регулярно масштабировать систему в соответствии с потребностями бизнеса.
Проблемы внедрения Big Data
Использование технологии Big Data может принести много пользы, однако есть и ограничения.
- Расходы. Чтобы развернуть проект на основе Big Data, нужен бюджет не только на платформы для обработки и хранения информации, но и на работу аналитиков. По данным «Хабр Карьера», медианная зарплата аналитика данных составляет от 150 тыс. рублей в месяц.
- Дефицит ресурсов. Большим данным нужно место для хранения, вычислительные мощности, а главное — квалифицированные специалисты. Их дефицит отмечают 69% компаний.
- Законодательные ограничения. Чтобы личные данные клиентов не попали в чужие руки, нужны усиленные меры безопасности. Любое бигдата-решение должно включать шифрование информации, надёжную систему авторизации и аутентификации.
- Сложность сбора. Иногда сбор данных затрудняют требования конфиденциальности. Так происходит, если люди отказываются от cookies, ограничивают доступ к контактам и минимизируют свой цифровой след.
Главное про Big Data
Big Data — это огромные массивы информации, которые накапливаются в цифровой среде. Их главная особенность: большой объём, высокая скорость обновления и разнообразие форматов.
Бизнес по-разному может использовать эту информацию. Например, чтобы:
- Снизить отток клиентов — анализ поведения пользователей помогает выявить тех, кто готов уйти к конкурентам, и вовремя предложить им персональные условия.
- Оптимизировать бюджет — Big Data помогает определить, какие каналы приносят целевых клиентов по низкой стоимости.
- Прогнозировать спрос — анализ поисковых запросов, логистических цепочек и социальных трендов позволяет точнее планировать расходы, акции, маршруты.
