Что такое big data: просто о сложном

Слежка не случайно выбрана первой ассоциацией к большим данным. Дело в том, как эти данные собираются. А происходит это без нашего согласия, незаметно и, скорее всего, мы никак не сможем с этим бороться. Похоже на теорию заговора, правда? Не переживайте: вы не скроетесь от big data, но если поймете, как это работает, будет проще принять происходящее. Вот несколько примеров с участием больших данных в обычной жизни:

• книжный магазин, в котором вы только что зарегистрировались или авторизовались через соцсеть, присылает рекомендации. Удивительно, но большая часть книг вас заинтересовала;
• подходят к концу запасы стирального порошка, который вы покупаете в супермаркете у дома, и очень кстати в рассылке приходит скидочный купон на покупку месячного запаса этого порошка. В купоне соседки этого предложения нет, да и вообще нет порошка, так как она пользуется услугами химчистки;
• появились дополнительные поезда в нужном направлении. А ведь несколько дней назад билетов не было, и новых поездов в расписании не предвиделось. Чудесные совпадения? Божественное провидение? Нет, big data.

Как работают большие данные

Кажется, еще не поздно дать определение этим удивительным явлениям. Итак, big data — это большие массивы несортированных данных, а также набор инструментов для их обработки. Под большими данными понимают информацию о процессах, явлениях и действиях. Эта информация накапливается, анализируется и позволяет делать вполне реалистичные выводы. И чем больше «учится» система, тем более правдоподобные у нее прогнозы.

Принципы работы big data легко понять на примере социального рейтинга, который работает в Китае. Все действия граждан тщательно собираются: когда просыпаются и засыпают, как добираются на работу, какие покупки делают офлайн и в интернете, есть ли у них постоянные партнеры, на что тратят деньги. Любая мелочь — еще один штрих к цифровому портрету человека. Когда соберется минимальный объем данных, начнется самое интересное — они начнут влиять на дальнейшую жизнь этого гражданина: дадут ли кредит или визу, пригласят ли на важное мероприятие, насколько легко будет снять жилье или арендовать велосипед в парке. На эти решения повлияют big data — собранные и тщательно обработанные данные.

Получается, что идея из сериала «Черное зеркало» стала реальной в отдельно взятой стране. Возможно, что дальше этот проект распространится на другие государства.

Кто и как собирает большие данные

У обычного человека такой возможности нет — нужны огромные ресурсы. Зато эти ресурсы есть у бизнеса и правительственных организаций. Ошибкой будет думать, что большие данные вас не касаются. Если пользуетесь интернетом и мобильной связью, делаете покупки в торговых сетях и предъявляете их карты лояльности, даже просто путешествуете, большие данные о вас собираются на каждом шагу.

Big data называют неструктурированными данными. Это значит, что их нельзя взять и занести в обычную базу данных, где все хранится упорядоченно. Представьте квартиру, в которой только что праздновали день рождения маленького именинника. Остатки еды, посуды, фантиков, украшения на стенах, подарки, рисунки — примерно так выглядят big data. Полный хаос без намека на структуру. Проанализировать эту информацию привычными инструментами или невозможно, или слишком дорого. Обычные компьютеры отметаем, оставляем вычислительные ресурсы дата-центров. Именно здесь будут обработаны огромные массивы данных и найдены закономерности, которые помогут сделать правильные выводы.

Как обрабатываются большие данные

Допустим, мы собрали много разнородной информации и придумали, где ее хранить. Что дальше? Существуют технологии, которые позволяют находить среди вороха данных нужную информацию. Сделать это нужно быстро, а результат должен быть максимально точным. Чем лучше это получается, тем успешнее бизнес, который эти данные собирает. По-прежнему нужны мощные вычислительные ресурсы и программные алгоритмы, которые строятся на принципах машинного обучения. Люди не работают с big data напрямую — это долго и дорого. Программа может зацепиться за один фрагмент (текст, движение, картинка, аудио и т. п. — абсолютно любые типы данных), затем за второй, третий и так далее. Она установит между ними взаимосвязь и спрогнозирует, какими будут следующие фрагменты.

Примеры big data в бизнесе

Как мы в обычной жизни сталкиваемся с большими данными, мы уже рассмотрели выше. Понятно, что за этим стоят крупные компании. А теперь ловите несколько кейсов, из которых понятно — big data полезны и нужны бизнесу намного больше, чем нам!

Банки используют big data, чтобы оптимизировать затраты и уменьшить риски. Они борются с мошенничеством, оценивают платежеспособность клиентов, управляют персоналом, прогнозируют загруженность касс, отделений и терминалов.

Производственные предприятия используют big data для оптимизации расхода материалов, формирования очереди на закупку сырья, прогнозирования скачков спроса и цены.

Маркетинговые компании прогнозируют успешность рекламных объявлений для конкретных пользователей и предлагают ту рекламу, которая их точно заинтересует и поможет решиться на покупку товара или заказ услуги.

Транспортные компании получают точные погодные прогнозы и оценивают риски простоев и задержек в пути, отслеживают состояние транспортных средств и принимаются за ремонт раньше, чем те выходят из строя. Логистические сервисы оптимизируют маршруты.

СМИ выбирают лучшее время для публикации новостей — тех, которые получат максимум внимания и отклика у читателей.

Образовательные учреждения благодаря сбору больших данных находят интересный и полезный обучающий контент. А учащиеся получают информацию в том виде — текстовом, видео, аудио, — в котором лучше ее усваивают. Так растет интерес к образованию и уровень вовлеченности в обучение.

Полиция предотвращает правонарушения в потенциально опасных районах (за счет увеличения числа патрульных) и на мероприятиях, где могут произойти столкновения. Снижается уровень преступности.

Инвесторы с помощью больших данных находят интересных и перспективных партнеров — компании и стартапы, которые принесут прибыль.

Где угодно big data используются для оптимизации затрат на энергоресурсы, логистику, привлечение новых клиентов, обслуживание и ремонт оборудования, сокращение убытков.

Big data  — это плохо или хорошо?

Точного ответа нет. Большие данные — всего лишь инструмент, и принесет он пользу или вред, зависит от того, в чьи руки он попадет. Вот несколько примеров, когда big data можно оценить по-разному.

Хорошо : поиск преступников на основе данных, полученных с камер видеонаблюдения. Система распознает лица и вычисляет людей, которые ранее участвовали в драках, кражах или более серьезных преступлениях. А еще это глобальная автоматизация в принятии решений — в этом заинтересованы крупные компании. Им проще находить подход к клиентам, рассчитывать потребность в сырье, прогнозировать объемы производства и многое другое.