Просчитать будущее. Кто кликнет, купит, соврёт или умрёт

Тихая революция стоимостью в миллион

Когда организация внедряет в свою деятельность прогнозную аналитику, она бросает в бой целую армию – но это армия муравьев. Эти муравьи выходят маршем на передний край организационного фронта, там, где происходит контакт с клиентами, студентами, пациентами и т. п. – т. е. с людьми, которых обслуживает организация. Руководствуясь прогнозами, армия муравьев улучшает миллионы мелких решений, принимаемых в рамках этих взаимодействий. Этот процесс, как правило, протекает незаметно… пока кто-то не решает оценить его совокупный эффект. Несмотря на то, что улучшение решений происходит на микроуровне – на муравьином уровне, если использовать нашу метафору, – общий результат может быть впечатляющим.

В 2005 году я рылся в огромном массиве данных по поручению одного клиента, который хотел увеличить количество кликов на своем сайте. Точнее говоря, он хотел увеличить частоту кликов по рекламным объявлениям своих спонсоров. Это был вопрос денег: больше кликов – больше денег. За многие годы сайт приобрел десятки миллионов пользователей, и тот массив данных всего за последние несколько месяцев, который они мне предоставили, содержал 50 млн строк данных – немалый по размерам рудник, в котором мне предстояло добыть золото знаний и научиться прогнозировать… клики.

Реклама является неотъемлемой частью средств массовой информации – печатных, телевизионных или виртуальных. Бенджамин Франклин забыл включить ее в свой список, когда красноречиво заявил: «В нашем мире есть всего две неизбежные вещи – смерть и налоги». Крупнейшая интернет-компания Google указывает рекламу как главнейший источник доходов. То же самое делает и Facebook.

Но на этом сайте ситуация с рекламой немного отличалась от обычной, что еще больше увеличивало потенциальный выигрыш от умения правильно спрогнозировать клики пользователей. Это был ведущий сервис по поиску студенческих грантов и стипендий, который использовал каждый третий учащийся старших классов, готовящийся получить высшее образование: узкий нишевой сервис, который был чрезвычайно популярен у некоторых университетов и военных учебных заведений. Один из университетов публиковал броское рекламное объявление, в котором именовал себя «лидером творческого образования в Америке», а мигающая в центре кнопка с надписью «Да, пусть со мной свяжется представитель приемной комиссии Института искусств» просто умоляла, чтобы ее нажали. Разумеется, на сайте размещали рекламу и кредитные организации, предлагая будущим студентам другой источник финансирования: кредиты на обучение. Спонсоры платили по $25 за каждого потенциального новобранца. Неплохое вознаграждение за один маленький щелчок мышью. Более того, поскольку реклама была весьма актуальна для пользователей, имея непосредственное отношение к цели их пребывания на сайте, доля откликов составляла необычайно высокие 5 %. Другими словами, этот небольшой бизнес, принадлежащий одной известной интернет-компании, специализирующейся на онлайн-рекрутинге, приносил хорошую прибыль. И любое, даже небольшое улучшение означало весомое увеличение дохода.

Однако улучшение алгоритма выбора рекламных объявлений было непростой задачей. Через определенные промежутки времени пользователям сайта демонстрировалось полноэкранное рекламное объявление, которое выбиралось из 291 имеющегося варианта. Хитрость заключалась в том, чтобы выбрать наиболее подходящее объявление для каждого конкретного пользователя. До настоящего момента выбор рекламы осуществлялся по простому принципу – какой доход она в среднем приносила в прошлом – без учета потребностей конкретного пользователя. Более привлекательные рекламные объявления всегда демонстрировались первыми. Хотя такой подход исключал возможность повышения релевантности объявлений для индивидуальных пользователей, он приносил замечательные результаты. Некоторые рекламодатели платили столь щедрое вознаграждение за каждый клик, и некоторые объявления инициировали столько кликов, что идея показывать некоторым пользователям менее действенную рекламу казалась сумасшедшей, поскольку могла подорвать уже сформированную систему извлечения дохода.

Опасности персонализации

Доверяя прогнозам и персонализируя на их основе свое предложение, вы идете на риск. Прогнозно-аналитическая система смело провозглашает: «Даже если рекламное объявление А в целом является сильным, в отношении этого конкретного пользователя стоит рискнуть и показать ему объявление B». По этой причине большая часть интернет-рекламы не персонализируется под конкретных пользователей. Даже рекламный сервис Google Adwords, который позволяет размещать текстовые объявления рядом с результатами поиска и на других веб-страницах, определяет, какие объявления показать, на основе содержания данной веб-страницы, кликабельности рекламы и предложения рекламодателя (сколько он готов платить за клик). Он не определяет их на основе того, что известно или спрогнозировано об этом конкретном пользователе, который увидит рекламу.

Но готовность пойти на этот риск выводит нас на новый уровень отношений с клиентами. Для бизнеса это означает «персонализацию», «повышение релевантности» и «индивидуализированный маркетинг». В других сферах это означает индивидуальный подход к лечению больных или к вынесению приговоров в отношении подозреваемых в совершении преступлений. В своей речи, посвященной удовлетворению широкого разнообразия наших предпочтений в выборе соуса для спагетти – с кусочками, сладкий, пряный – Малькольм Гладуэлл сказал: «Люди… искали универсализмы. Они искали универсальный способ вылечить всех нас… Вся наука XIX и большой части XX века была одержима универсализмами. Психологи, врачи, экономисты – все старались вывести правила, управляющие поведением всех нас. Но всё изменилось, не так ли? В чем состоит великая научная революция, произошедшая за последние 10–15 лет? В переходе от поиска универсализмов к пониманию многообразия. В области медицины мы хотим знать не то, как действует рак, а чем ваш рак отличается от моего».

От медицинских проблем до потребительских предпочтений индивидуализация побеждает универсализацию. То же касается и рекламы в Интернете.

Применение ПА: нацеливание рекламы

1. Предмет прогнозирования: какое рекламное объявление вероятнее всего спровоцирует клик у каждого конкретного пользователя.

2. Цель прогнозирования: повышение эффективности отображения рекламных объявлений (на основе вероятности клика, а также вознаграждения, выплачиваемого рекламодателем).

Я разработал для своего клиента прогнозно-аналитическую систему для персонализации рекламы, и компания решила испытать ее в деле, сравнив результаты с результатами своей прежней системы. Проигравший в этом поединке должен был оказаться в мусорной корзине второсортных идей, которые просто-напросто приносят меньше денег. Чтобы подготовиться к этому бою, мы снабдили ПА-систему мощным вооружением. Прогнозы генерировались посредством процесса машинного обучения, опирающегося на 50 млн примеров, каждый из которых содержал микроурок из прошлого, такой как «Пользователю Мэри было показано объявление А, и она по нему кликнула» (положительный отклик) или «Пользователю Джону было показано объявление В, и он по нему не кликнул» (отрицательный отклик).

Для отбора рекламы использовалась технология обучения, известная как наивная байесовская модель. Эта модель названа по имени преподобного Томаса Байеса, известного математика, жившего в XVIII веке, а термин «наивная» означает, что мы берем идеи очень умного человека и перерабатываем их таким образом, чтобы упростить их, но в то же время сделать пригодными для применения на практике. В результате мы получаем практический метод, который хорошо показывает себя в решении многих предиктивных задач и может быть приспособлен под конкретную задачу. Я выбрал этот метод за его относительную простоту, поскольку на самом деле мне нужно было разработать 291 такую модель – по одной для каждого объявления. Все вместе эти модели должны были предсказать, по какому рекламному объявлению вероятнее всего кликнет конкретный пользователь.

Внедрение: трудности и отсрочки

Как и запуск космического корабля, внедрение ПА в теории выглядит превосходно. Вы разрабатываете и строите аппарат, ставите его на стартовую площадку и ждете разрешения. Но в тот самый момент, когда вы готовы нажать кнопку «Старт», запуск отменяется. Затем откладывается. Затем отменяется снова. Так, братья Райт, воодушевленные потрясающими возможностями изобретенной ими новой конструкции крыла, создающей подъемную силу, решились пойти неизведанным и тернистым путем, многократно спотыкаясь и падая, рискуя своей жизнью и здоровьем, пока не устранили все проблемы.

Когда ПА используется в режиме реального времени, как в случае персонализации рекламы, прогнозы должны генерироваться со скоростью света, чтобы иметь практическую ценность. Виртуальный мир не терпит промедлений, когда нужно срочно решить, какую рекламу показать пользователю, купить или нет акции, авторизовать ли платеж по кредитной карте, какой фильм порекомендовать, отсеять ли сообщение как спам или как ответить на вопрос в интеллектуальной телевикторине Jeopardy!. ПА-система реального времени должна быть интегрирована непосредственно в операционные системы, такие как веб-сайты или средства обработки платежей по кредитным картам. Если вы впервые внедряете ПА в организации, этот проект может потребовать значительных усилий со стороны ее программистов, которые зачастую и без того перегружены работой по обслуживанию корпоративных систем, чтобы обеспечить нормальное функционирование организации. Таким образом, этап внедрения в проекте ПА требует гораздо большего, чем просто разрешения со стороны высшего руководства: он требует большой реальной работы. К тому моменту, когда программисты интегрировали мою прогнозно-аналитическую систему, данным, на которых я ее отлаживал, уже было около 11 месяцев. Были ли результаты обучения по-прежнему релевантны почти год спустя или же они потеряли свою прогнозную силу?

В полете

Майор Том Центру управления полетами: —

Прием! Я шагнул за шлюз,

И поплыл я в непривычной пустоте…

Дэвид Боуи, из песни «Космическое путешествие»

После запуска ПА-системы начинается страшный период ожидания, словно вы плаваете в космическом пространстве и все вокруг вас застыло в полной неподвижности. Но на самом деле, когда вы дрейфуете на земной орбите, вы несетесь в космосе со скоростью более 22 400 км в час. В отличие от красочного зрелища запуска ракеты или строительства небоскреба, запуск ПА-системы происходит почти незаметно. Она начинает работать, но никаких немедленных видимых изменений в повседневных операциях не происходит. Например, если после установки системы персонализации рекламы вы зайдете на сайт, вам, как обычно, будут показывать рекламные объявления, так что вы можете даже усомниться в том, оказывает ли система какое-либо влияние на их выбор. Это то, что компьютеры умеют делать лучше всего. Они обладают способностью инициировать масштабные процедурные изменения, которые часто остаются незамеченными, поскольку не могут непосредственно наблюдаться ни одним человеком.

Но под поверхностью происходят глобальные перемены, словно весь океан подвергается радикальной реконфигурации. На самом деле эффект становится очевиден только тогда, когда составляется общий отчет.

В случае, о котором я рассказываю, прогнозный подход восторжествовал. Организация провела прямое сравнение: для одной половины пользователей реклама продолжала выбираться при помощи существующей системы, а для другой использовался новый предиктивный алгоритм. Новая система увеличила доходы по крайней мере на 3,6 %, что означало дополнительный $1 млн каждые 19 месяцев (из расчета на основании текущих поступлений). Причем эта система затрагивала только полностраничную рекламу; гораздо больше меньших по размеру объявлений размещалось на каждой странице сайта, и их эффективность также могла быть повышена через внедрение аналогичной ПА-системы.

Нам не потребовалось ни новых клиентов, ни новых рекламодателей, ни изменения действующих контрактов, ни нового компьютерного оборудования, ни новых сотрудников, ни нового рабочего подхода – для того, чтобы сгенерировать дополнительный денежный поток, потребовалось только улучшить процесс принятия решений. В хорошо отлаженной, работоспособной системе, подобной той, что была у моего клиента, даже небольшое улучшение на 3,6 % приносит существенную отдачу. Иногда выигрыш может быть еще значительнее: одна страховая компания сообщает, что благодаря использованию технологии прогнозной аналитики она экономит почти $50 млн в год за счет снижения убыточности на половину процентного пункта.

Так как же эти модели предсказывают каждый клик?

Элементарно, Ватсон: сила наблюдательности

Аналогично тому, как Шерлок Холмс делал проницательные выводы, опираясь на свое суждение о характере подозреваемого, прогнозирование основано на одном правиле: то, что известно о каждом конкретном человеке, дает набор подсказок о том, как он может поступить в той или иной ситуации. Вероятность того, что пользователь кликнет мышкой по определенному рекламному объявлению, зависит от разнообразных факторов, включая пол, год обучения, домен электронной почты (Hotmail, Yahoo! Gmail и т. д.), результаты предлагаемых на сайте опросов и тестов (имеет ли пользователь больше гуманитарный или математический склад ума?) и т. д.

На самом деле этот сайт собирал огромное количество информации о своих пользователях. Чтобы выяснить, на какие гранты или стипендии они могут претендовать, пользователи отвечали на десятки вопросов о своей успеваемости в школе, сфере интересов, внеклассных увлечениях, профессии, которую они хотят получить, образовании родителей и многом другом. Таким образом, таблица данных была не только очень длинной (50 млн примеров), но и широкой: каждая строка содержала всю информацию, известную о пользователе на тот момент, когда ему показывалось рекламное объявление.

На первый взгляд это кажется непосильной задачей: переработать миллионы примеров, чтобы узнать, каким образом использовать различные факты, известные о конкретном человеке, чтобы научиться составлять более-менее обоснованные прогнозы. Но эту задачу можно разбить на несколько частей, что намного упростит ее. Давайте начнем с хитроумного инструмента, который непосредственно занимается выработкой прогнозов, – электронного Шерлока Холмса, знающего, как учесть все эти факторы и на их основе сделать прогноз в отношении конкретного человека.

Прогнозная модель – это механизм, который предсказывает поведение индивида, такое как щелчок мышью, покупка, ложь или смерть. Она использует в качестве входных данных характеристики конкретного индивида и на выходе выдает прогнозную скоринговую оценку. Чем выше оценка, тем больше вероятность того, что индивид проявит прогнозируемое поведение.

Прогнозная модель (представленная в этой книге в виде «золотого» яйца, пусть и в черно-белом цвете) ставит каждому индивиду скоринговую оценку:

Другими словами, прогнозная модель учитывает все известные характеристики индивида и на их основе вырабатывает прогноз. Существует много способов это сделать. Один из них состоит в том, чтобы оценить влияние каждой характеристики и затем суммировать эти влияния – например, для женщин скоринговая оценка повышается на 33,4 балла, для пользователей Hotmail уменьшается на 15,7 балла и т. д. Каждый признак увеличивает или уменьшает итоговую скоринговую оценку для конкретного человека. Такая модель называется линейной; она считается достаточно простой и ограниченной в своих возможностях, хотя, как правило, это гораздо лучше, чем ничего.

Другие модели основаны на правилах, таких как в рассматриваемом нами примере:

Это правило является ценной находкой, так как средняя вероятность отклика на рекламное объявление института искусств составляет всего 2,7 %. Условно говоря, мы выделили группу потенциально активных «кликеров».

Интересно, что пользователи, заявившие об интересе к военной службе, чаще проявляют интерес и к рекламе института искусств. Хотя можно строить догадки, важно не предполагать существование прямой причинно-следственной связи. Например, может оказаться, что пользователи, которые более тщательно заполняют свой профиль на сайте, в целом склонны кликать по всем видам объявлений.

Различные типы моделей состязаются между собой в точности прогнозирования. Модели, основанные на наборах правил, подобных только что рассмотренным нами, считаются относительно простыми. Другие модели могут опираться на сложнейшие математические формулы, позволяющие вырабатывать более точные прогнозы, хотя их логика может быть во многом непонятной для человеческого разума.

Но все прогнозные модели имеют общую цель – учесть все разнообразные факторы, касающиеся конкретного индивида, чтобы составить единую прогнозную скоринговую оценку. Затем эта оценка используется для принятия организацией решения о том, какие действия следует предпринять.

Но прежде чем использовать модель, ее нужно создать. И такая модель создается посредством машинного обучения:

Машинное обучение перемалывает данные, чтобы построить модель – новую машину прогнозирования. Таким образом, модель сама по себе является продуктом машинного обучения. Поэтому машинное обучение также называют прогнозным моделированием – обычно в коммерческой сфере употребляется этот термин. Если взять ранее упомянутый нами метафорический термин data mining («извлечение знаний из данных»), то прогнозная модель и есть тот самый добытый бриллиант.

Прогнозное моделирование полностью создает модель с нуля. Все формулы, удельные веса или правила вырабатываются автоматически с помощью компьютера. Для этого и предназначен процесс машинного обучения – механически приобретать новые знания и развивать новые способности, опираясь на анализ данных. Другими словами, присущий ПА «дар предвидения» вырастает из автоматизации.

Как охотник по возвращении в племя гордо демонстрирует свою добычу, так и прогнозный аналитик вывешивает свою модель на доске объявлений в корпоративной штаб-квартире. Как охотник передает добычу повару для дальнейшего приготовления, так и исследователь отлаживает свою модель, переводит ее на стандартный компьютерный язык и отправляет по электронной почте программистам для интеграции. Сытое племя одаривает охотника хвалебными песнопениями, довольный результатами руководитель компании одаривает аналитика премиями. Племя пережевывает мясо, аналитик перемалывает данные.

Принять решение – значит действовать

Недостаточно знать – надо применять знания на деле.

Иоганн Вольфганг фон Гёте

Картофель или рис? Что мне делать со своей жизнью? Я не могу решить.

Из песни «Я не умею решать» группы Muffin^[5] (1996)

Когда модель разработана, не спешите самодовольно почивать на лаврах. Даже самые точные прогнозы бесполезны, если они не применяются на деле. Это просто идеи, нематериальные сущности. Они могут поражать своей проницательностью, но, будучи повешены в рамочке на стену, смогут свидетельствовать разве что о вашем нарциссизме. Ни пользы, ни денег, ни каких-либо других осязаемых результатов они не принесут.

В отличие от отчетов, спокойно лежащих на столе, ПА выходит за стены лабораторий и начинает действовать в реальной жизни. И в этом отношении прогнозная аналитика стоит выше других форм интеллектуального анализа данных. ПА обожает внедрения и запуски, поскольку создаваемый ею продукт – прогнозы – требует конкретных действий.

Индивидуальная прогнозная скоринговая оценка напрямую влияет на решение о том, какое действие следует предпринять в отношении каждого конкретного человека. Врач проводит более пристальное обследование пациента, для которого спрогнозирован повышенный риск повторной госпитализации; представитель сервисной службы связывается с покупателем, для которого предсказана высокая вероятность отказа от товара или услуги. Прогнозная оценка требует действия – позвонить, написать, предложить скидку, порекомендовать продукт, показать объявление, провести проверку, расследовать, проверить на наличие дефектов, одобрить кредит или купить акции. Действуя на основе прогнозов, вырабатываемых посредством машинного обучения, организация в буквальном смысле слова учится на собственном опыте, улучшая свои повседневные операции.

Чтобы подчеркнуть этот момент, мы подвергли небольшой манипуляции английский язык. Сторонники ПА любят говорить о таком ключевом качестве прогнозной аналитики, как actionability, подразумевая ее непосредственную применимость на практике. ПА буквально диктует организации, что нужно делать. Но этот термин был украден нами из юридической сферы, где он означает «наличие исковой силы» (т. е. наличие оснований для возбуждения дела), и был наделен новым значением. Причина выбора столь агрессивной терминологии в том, что люди устали от впечатляющих на первый взгляд отчетов, которые в реальности дают лишь смутное чувство направления.

Таким образом, фраза «У вас расстегнулась молния на ширинке» побуждает к действию и, следовательно, обладает качеством actionability (она четко дает понять, что делать, – и вы можете и должны принять меры, чтобы исправить ситуацию), тогда как фраза «Вы лысеете» – нет (облысение не лечится, поэтому в этой ситуации ничего поделать нельзя). А для продавца одежды чрезвычайной actionability – непосредственной применимостью на практике – обладает прогноз «Этот человек с большой вероятностью может купить джинсы с ширинкой на пуговицах и эту модную кепку».

Запуск в действие ПА создает критически важное преимущество в высококонкурентном мире бизнеса. Сегодня мы видим тенденцию к массовому обезличиванию, когда все компании кажутся похожими друг на друга. Такое чувство, что все они продают практически одинаковые товары и услуги и действуют почти одинаковыми способами. Если компания сумеет выделиться из толпы, вы представляете себе ее перспективы?

«Во времена, когда компании во многих отраслях предлагают схожие товары и применяют схожие технологии, одной из последних оставшихся точек дифференциации являются высокоэффективные бизнес-процессы», – написали в книге «Аналитика как конкурентное преимущество: Новая наука побеждать»^[6] Томас Дэвенпорт и Джоан Харрис. Тут-то и пригодится прогнозная аналитика. Как показывают исследования, ужесточение конкуренции – главная на сегодняшний день причина, почему организации внедряют эту технологию.

Одно предостережение: внедрение ПА может повлечь за собой не только благоприятные изменения, но и новые риски. Помня об этом, мы вернемся к истории Джона.