ИИ-2041. Десять образов нашего будущего

Рия еще обнимала дочь, Наяна заметила, как в глазах матери блеснуло солнце – или это были навернувшиеся слезы?

– Я всегда старалась дать тебе ощущение безопасности и комфорта, которых никогда не было у меня. И твое счастье никогда не будет зависеть исключительно от твоего замужества. Поступай в Университет Раи на фэшн-технологии и перформанс-арт, как выбрала. И никому не позволяй себе указывать. Никому – слышишь! – ни людям, ни искусственному интеллекту. А если кто-то влезет в твою жизнь – не смей его слушать. Правильный ответ можешь найти только ты сама. И то сначала надо попробовать.

– То есть я могу поехать в Ахмадабад, в Университет Раи?

– Если поступишь – да, – улыбнулась мама. – Там же огромный конкурс.

– И даже если из-за этого вырастут страховые взносы нашей семьи?

– Иногда стоит и рискнуть.

– Мам, я договорилась встретиться с Сахеджем. И – спасибо тебе!

Из-за угла показался красный двухэтажный автобус. Наяна неловко ткнулась маме в щеку – поцеловала – и побежала к остановке. А солнце скрылось за горизонтом.

С улицы через окно было видно, как официанты деловито накрывают в зале столы и зажигают свечи – наступал романтический вечер. Сахедж ждал Наяну на углу. В сумерках его кожа казалась еще смуглее. Наяне показалось, что в кафе его совсем не тянет.

– Слушай, извини… – Сахедж мялся, мотал головой, смотрел в землю, его глаза сверкали в темноте, как два светлячка.

– Что-то не так?

– Если я пойду с тобой, мама расстроится. Ходить в такие места – потворствовать слабостям… Это увеличит наш страховой взнос.

– Ты имеешь в виду… – в голове Наяны вдруг щелкнуло – все сошлось. – Так твоя семья тоже на страховке GI?

– Да. И мама сильно болеет. Нам здорово повезло, GI предлагает специальный страховой полис для таких, как мы, называется, «для социально незащищенных», иначе мы никогда бы не смогли позволить себе такую страховку…

– Это я поняла, – кивнула Наяна. И перевела разговор на гораздо более важное. – Но я совсем не поняла, почему ты подарил мне ворона, а не павлина, кролика или кого-то еще?

– Ты задаешь много вопросов! – Сахедж мягко улыбнулся. – Пошли погуляем, раз уж мы не идем в это дурацкое кафе.

Улицы вечернего Мумбаи обычно заполнены машинами – со всех сторон слышатся звуки клаксонов. Что поделать – огромный город, 30 миллионов человек! Мумбаи не всегда был городом небоскребов, ярких огней и цифровых дисплеев, но перенаселен он уже давным-давно. Люди облюбовали это место еще в каменном веке.

На месте сегодняшнего Мумбаи поселились еще древние греки. Они назвали это место Гептанезия – «семь островов». С тех пор город видел взлеты и падения многих династий и правителей. Он крещен кровью – прежде чем Индия получила независимость, погибал и возрождался из пепла бесчисленное множество раз.

Но, конечно, совсем не об этом думали старшеклассники, неспешно прогуливаясь по ярко освещенным улицам. Наяна с удивлением обнаружила, что Сахедж старается держать и физическую дистанцию – будто от случайного прикосновения его долбанет током.

– Сахедж, почему ты отодвигаешься? – Наяна старалась как можно тщательнее подобрать слова, опасаясь обидеть наконец-то обретенного друга.

– Ты правда не знаешь? – удивился Сахедж.

– Чего не знаю?

– Моей фамилии?

– Нет. На занятиях, и в школе и онлайн, ее скрывают, будто ты отпрыск какой-то телезвезды или из какой-нибудь известной семьи.

– Нет, наоборот. Это делают, чтобы вы не испытывали дискомфорта.

– В смысле?

– Ну, когда-то это описывали как ощущение оскверненности.

– Ты о своей касте, что ли? Но ведь эту систему отменили давным-давно.

Сахедж горько усмехнулся.

– Ее запретили законом, о ней не говорят в новостях, но она существует.

– Но откуда об этом знает искусственный интеллект?!

– А он не знает. Ему не нужно знать определение каст. Все, что ему требуется – история пользователей. Как бы мы ни скрывались, не меняли фамилии, следы все равно остаются. Их стереть невозможно.

Наяна вспомнила: мама ведь говорила, что искусственный интеллект знает только то, чему его учат люди. Она немного поиграла с этой мыслью, а затем внимательно посмотрела на Сахеджа:

– Так что, по-твоему, искусственный интеллект выявляет невидимую дискриминацию и оценивает ее количественно?

Сахедж посерьезнел, на миг задумался и фыркнул.

– Чуть не забыл. Еще – цвет моей кожи. Ты же знаешь, что на санскрите одно и то же слово означало и каста, и цвет?

– Это же полный бред!

– Нет, это реальность. Женщины из низшей касты могут встречаться с мужчинами из высшей касты и даже выходить за них замуж. Но наоборот – ни в коем случае. Это вконец испортит репутацию семьи девушки.

– Неужели искусственный интеллект действительно волнуют подобные глупости?

– Ему наплевать на наши устаревшие социальные устои! Но он стремится уменьшить размер страхового взноса пользователей, и поэтому GI пытается помешать нам с тобой быть вместе.

Наяна услышала главное слово – «вместе». Щеки у девушки вспыхнули.

– «Максимизация целевой функции» – так это называется.

– Чего-чего?

– Люди поставили перед искусственным интеллектом цель: снижать страховые взносы клиентов до минимально возможного уровня. И теперь он решает эту задачу. Он вообще не учитывает факторов, которые не влияют на снижение взноса, и ему уж точно без разницы, счастливы люди или нет. Машины недостаточно умны, чтобы интерпретировать ощущения поверх статистических данных. К тому же несправедливость и предрассудки по-прежнему вполне реальны. А искусственный интеллект только обнажает этот позор.

– Откуда ты все это знаешь?

Сахедж улыбнулся.

– Хочу поступить в Империал-колледж^[19], стать специалистом по искусственному интеллекту. Хочу изменить эту дурацкую ситуацию.

За умными разговорами парочка незаметно дошла почти до дома Наяны – на последнем перекрестке Сахедж остановился и приготовился прощаться. Расставаться не хотелось, и тут Наяну осенило.

– А почему мы не можем изменить это прямо сейчас? Разве мы разрешили искусственному интеллекту распоряжаться нашей судьбой? Как предсказаниям на FateLeaf, написанным тысячи лет назад?

По лицу Сахеджа пробежала тень.

– Ты заходила на FateLeaf после подключения к GI?

– Ох, как мне надоел их золотой слоненок! А при чем тут FateLeaf?

– FateLeaf входит в семейство приложений GI, как и MAGIComb, и Cheapon. Если принять условия совместного использования данных, то получишь более точное предсказание.

– Точно! – охнула Наяна. – И как я раньше не додумалась? Выходит, судьбы с листьев Наади вовсе не подлинные! Я, как и все, хотела, чтобы все было по-настоящему, – а прорицание просто говорило то, что мне хотелось услышать.

До Наяны наконец дошло: ее надурили. Только она еще не решила, обрадоваться или страдать и мучиться.

Сахедж внимательно посмотрел на Наяну, чуть помялся и указал на улицу, по которой собирался возвращаться домой.

– Мы там живем. Дорога идет через строительную площадку Дхарави. Раньше там были трущобы. Представляешь, больше миллиона человек на пятачке 500 на 500 метров! Туристы приезжали фотографироваться, только жить там никто не хотел. Теперь Дхарави наконец-то станет нормальным местом, – Сахедж как будто бы вел экскурсию, и Наяне было интересно – она, конечно, слышала о Дхарави, но не подозревала о многих подробностях. – Учти, я просто предупреждаю: если ты приблизишься к Дхарави, GI завалит тебя предупреждениями – о болезнях, начнет писать, чтобы ты ни коем случае не пила там воду, будет умолять держаться подальше. Наяна, ты справедливая, но это дорога не для таких, как ты. Мир на вашей стороне, а не на стороне тех, кто живет там, – Сахедж опять указал на дорогу к своему дому. – Так что если уж говорить о судьбе – то вот она, наша судьба.

– А можно я с тобой? – Наяна сама поразилась тому, как легко это выпалила, и шагнула вперед. – Я… Я не такая, как ты думаешь.

Сахедж с сомнением наклонил голову:

– Уверена?

Наяна еще раз взглянула на дорогу к Дхарави, к запретной зоне в центре мегаполиса Мумбаи. Страшновато! Но в ушах вдруг зазвучал мамин голос: «Иногда стоит и рискнуть». Наяна поняла, что уверена – и кивнула.

Сахедж просиял, галантно согнул руку в локте, предложив своей даме опереться:

– Как пожелаете, мадемуазель.

И юная пара вновь отправилась в путь – вглубь древнего города, где за столетия люди много раз обновили каждый уголок и каждый кирпичик. По краям дороги выстроились старые и новые башни – словно переродившиеся души людей. Боги-машины завтрашнего дня со временем разрушат, а потом воссоздадут и эти души.

– Ну, так почему ты вырезал для меня именно голову ворона?

– Это мой тотем, мое астрологическое животное. Правда, в общении я гораздо более неуклюжий, чем большинство ворон.

– Надо же, как все просто!

– Да, так просто.

Завибрировал смартстрим – сначала тихонько, потом быстрее, сильнее, настойчивее. Наяна знала: это «золотой слоненок», Сахедж предупредил ее еще на перекрестке. Искусственный интеллект пытался спасти ее; предостерегал, просил не приближаться к месту, которое когда-то считалось крупнейшими трущобами в мире; убеждал держаться подальше от бедности, болезней, дискриминации и неприкасаемых – таких, как парень рядом с ней.

Наяна только потуже затянула капюшон толстовки и продолжала шагать рядом с Сахеджем.

Самый главный ответ ждал ее впереди, во тьме древних улиц.

Анализ. Глубокое обучение; большие данные; финансовые интернет-приложения, вредоносные проявления ИИ

Преимущества страховки Ganesh Insurance из рассказа «Золотой слон», работающей на базе ИИ, совершенно очевидны. Рия, мама Наяны, экономит семейный бюджет благодаря акционным приложениям. Папа Санджай бросает курить, пить крепкое спиртное и становится более ответственным водителем. Даже младший брат Рохан начинает правильнее питаться, когда под угрозой диабета ИИ забил во все колокола.

Такой набор приложений, работающих на смартстримах (вы, конечно, поняли, что это смартфоны 2041 года), и вправду мог бы помочь людям жить дольше, быть здоровее и богаче. Персонализированные ненавязчивые стимулы четко подсказывают, как жить более правильной жизнью.

В чем же тут подвох? В том, как и чем приходится за это расплачиваться. Вопрос лег в основу нашей первой истории, познакомившей читателя с основополагающей для ИИ концепцией глубокого обучения.

Глубокое обучение – прорыв в области искусственного интеллекта. Среди многих подобластей ИИ машинное обучение – это область, которая привела к наиболее успешным приложениям, а в машинном обучении самым большим достижением является направление под названием «глубокое обучение» – настолько, что термины «ИИ», «машинное обучение» и «глубокое обучение» иногда используются взаимозаменяемо (хотя это и неточно). В 2016 году глубокое обучение вызвало ажиотаж после впечатляющей победы AlphaGo над конкурентом-человеком в игре го, самой популярной интеллектуальной настольной игре в Азии. После этого нашумевшего поворота глубокое обучение стало важной частью большинства коммерческих приложений ИИ, и оно фигурирует в большинстве историй в AI 2041.

В «Золотом слоне» описан потрясающий потенциал глубокого обучения и его ловушки вроде воспроизведения социальных предрассудков в цифровых технологиях.

Так что же такое глубокое обучение? Каковы его ограничения? Какую роль в нем играют данные? Почему интернет и финансы считаются наиболее перспективными отраслями для применения ИИ на ранних этапах? Какие условия оптимальны для глубокого обучения? И почему кажется, что это работает чертовски хорошо – но только когда оно действительно работает? Каковы недостатки и недочеты ИИ?

ЧТО ТАКОЕ ГЛУБОКОЕ ОБУЧЕНИЕ?

Глубокое обучение вдохновлено сложнейшей сетью нейронов нашего мозга, оно строит программные многослойные искусственные нейронные сети с входными, скрытыми и выходными слоями. Данные поступают на входной слой – вход, а результат, соответственно, появляется на выходном слое. Между ними могут находиться тысячи других скрытых слоев – отсюда и «глубокое обучение».

Многие считают, что ИИ «программируется» или «обучается» людьми посредством указания конкретных правил и действий. Например, человек сообщает ИИ, что «у кошек заостренные уши и усы». Но на самом деле глубокое обучение работает лучше без внешних «человеческих» правил. Вместо того чтобы запоминать правила, данные людьми, на вход глубокой нейросети подается множество примеров, а на выход – правильные ответы для каждого из них. Таким образом, сеть между входом и выходом может быть «обучена», чтобы максимизировать шансы получить правильный ответ на заданный вход.

Есть множество примеров, когда человек не подсказывает, а передает информацию на входной слой и «правильный ответ» – на выходной слой.

Представим, что исследователи хотят, чтобы сеть глубокого обучения отличала фотографии кошек от любых других изображений. Для начала исследователь может подать на входной слой миллионы разных фото, маркированных «кошка» или «не кошка»; при этом на выходном слое метки «кошка» или «не кошка» уже должны быть заданы.

Сеть обучается определять, какие признаки в миллионах изображений наиболее информативны для отделения «кошек» от «не кошек». Это обучение представляет собой математический процесс, настраивающий в сети глубокого обучения миллионы (а иногда и миллиарды) параметров, для того чтобы максимизировать вероятность того, что для изображения кошки на входе будет выдана метка «кошки», а для другого изображения – метка «не кошка». На рисунке ниже вы видите такую нейронную сеть глубокого обучения для «распознавания кошек».

Нейронная сеть глубокого обучения, обученная отличать фото кошек от фотографий, на которых изображено что-то другое

В ходе этого процесса глубокая нейросеть математически обучается (или «тренируется») максимизировать значение «целевой функции». В нашем примере с распознаванием кошки такой целевой функцией является вероятность правильного распознавания «кошка» – «не кошка».

После такой тренировки сеть глубокого обучения, по сути, становится гигантским математическим уравнением; его можно протестировать на изображениях, которых она до этого не видела, и убедиться, что сеть путем «умозаключений» способна определить наличие или отсутствие в этих изображениях кошки.

С появлением глубокого обучения совершенно непрактичные ранее возможности ИИ стали пригодными для применения во многих областях и сферах. На следующей диаграмме наглядно показано, как резко сократилось число ошибок распознавания образов, когда начали использовать технологии глубокого обучения.

Глубокое обучение – это технология универсального применения, ее можно использовать практически в любой области для распознавания образов, прогнозирования, классификации данных, принятия решений или синтеза. Возьмем сферу страхования, о которой идет речь в рассказе «Золотой слон».

ИИ в приложениях Ganesh Insurance предобучили оценивать вероятность развития у клиента компании серьезных проблем со здоровьем и соответствующим образом корректировать его страховой взнос.

Чтобы сеть научилась отделять тех, у кого с большой вероятностью возникнут такие проблемы, от тех, у кого они, скорее всего, не возникнут, ИИ «тренируют» на обучающих данных, включающих в себя информацию обо всех прошлых заявителях на получение страховки, обо всех их обращениях в медицинские учреждения с разными жалобами и об их семьях. Каждый случай маркируют на выходном слое меткой «обращался с серьезными медицинскими проблемами» или «не обращался с серьезными медицинскими проблемами».

Использование глубокого обучения привело к существенному снижению частоты ошибок при распознавании объектов компьютерным зрением

Впитав в себя в процессе предобучения весь этот набор данных, ИИ может делать предсказания вероятности возникновения у заявителя серьезных проблем со здоровьем и решать, одобрять заявку на страхование или нет, и если да, то каким при этом должен быть страховой взнос.

Обратите внимание: в данном сценарии ни одному человеку не придется маркировать претендента на оформление страховки как объект, имеющий риски с точки зрения здоровья или же не имеющий таковых. Эти метки основываются исключительно на «достоверной информации» (например, были ли у претендента на оформление страховки серьезные жалобы на здоровье в прошлом).

ГЛУБОКОЕ ОБУЧЕНИЕ: ПОТРЯСАЮЩИЕ ВОЗМОЖНОСТИ. НО – С ОГРАНИЧЕНИЯМИ

Первая научная статья о глубоком обучении вышла еще в 1967 году. Потребовалось более полувека, чтобы эта технология проявила себя. Это заняло так много времени, потому что для обучения искусственной нейронной сети требуется огромное количество данных и вычислительных мощностей. И если вычислительные мощности – двигатель ИИ, то данные – его топливо.

Вычисления стали достаточно быстрыми для эффективного применения технологии глубокого обучения только в последнее десятилетие, и мы наконец научились собирать достаточное количество данных. Смартфон, которым вы пользовались сегодня, обладает в миллионы раз большей вычислительной мощностью, чем компьютеры НАСА, отправившие Нила Армстронга на Луну в 1969 году. А интернет 2020 года почти в триллион раз больше интернета 1995 года.

Глубокое обучение – результат озарения человеческого мозга, но работают они совершенно по-разному. Глубокому обучению требуется гораздо больше данных, чем человеку, но после обучения работе с ними технология значительно превосходит людей в решении многих задач, особенно связанных с количественной оптимизацией (например, выбор рекламного объявления для максимизации вероятности покупки или поиск нужного лица среди миллионов других).

Люди могут одновременно сосредоточиваться на ограниченном количестве объектов, а алгоритм, предобученный на океане информации, выявляет корреляции между неявными признаками, слишком незаметными или сложными для человека.

Кроме того, в процессе предобучения на огромном объеме данных глубокое обучение может подстраиваться под отдельных пользователей, базируясь на их паттернах поведения, равно как и на аналогичных шаблонах у других пользователей. Например, когда вы посещаете Amazon, ИИ этого веб-сайта выделяет или подсвечивает продукты, которые, скорее всего, должны вас заинтересовать и, соответственно, максимально увеличат ваши расходы.

А контент на вашей странице в Facebook должен удержать вас в соцсети как можно дольше. ИИ Amazon и Facebook таргетированный (узконаправленный); он предлагает каждому человеку разный, но персонализированный контент. Это значит, что показанный мне контент, скорее всего, сильно повлияет на меня, но может совершенно не сработать в вашем случае. Подобная узкая нацеленность гораздо эффективнее генерирует клики и покупки, чем универсальный подход традиционных статических веб-сайтов.

Каким бы мощным инструментом ни было глубокое обучение, панацеей его, увы, не назовешь. Человеку не сравниться с ИИ в деле одновременного анализа огромного количества данных, но мы обладаем уникальной способностью опираться при принятии решений на прошлый опыт, абстрактные концепции и здравый смысл.

Глубокому обучению для эффективной работы требуются огромные объемы релевантных данных, узкая конкретная сфера действия и четкая целевая функция. Если чего-то из этого нет – вероятнее всего, ничего путного не выйдет.

Мало данных? В алгоритме будет недостаточно примеров для выявления значимых корреляций. Несколько разных областей? Алгоритм не сможет учесть корреляции между примерами из разных областей и не получит достаточно данных, чтобы охватить все возможные перестановки. Слишком общая целевая функция? Алгоритм не будет иметь четких указаний для ее оптимизации.

Важно понимать, что «мозг ИИ» (собственно, глубокое обучение) работает совсем не так, как мозг человека. Их основные различия показаны в таблице 1:

Таблица 1. Сравнение сильных и слабых сторон человеческого мышления и «мышления» ИИ

ПРИМЕНЕНИЕ ГЛУБОКОГО ОБУЧЕНИЯ В ИНТЕРНЕТЕ И ФИНАНСАХ

Если вспомнить упомянутые выше сильные и слабые стороны глубокого обучения, то станет понятно, почему первыми бенефициарами этой формы ИИ стали крупнейшие интернет-компании. Высокотехнологические гиганты вроде Facebook и Amazon располагают самыми большими базами данных, которые к тому же часто размечаются автоматически в зависимости от действий пользователя (пользователь кликнул или купил? сколько минут он оставался на странице?).

Эти действия пользователей напрямую связываются с бизнес-метрикой (доход или количество кликов), которую необходимо максимизировать. Если заданные условия выполнены, приложение или платформа превращаются в денежный станок. Чем больше данных накапливается, тем большую выручку приносит платформа. Неудивительно, что интернет-гиганты вроде Google, Amazon, Facebook за последнее десятилетие показали поистине феноменальный рост и все активнее используют ИИ.

Как мы увидели в рассказе «Золотой слон», следом за интернет-компаниями огромный потенциал ИИ взяла на вооружение финансовая сфера, в том числе банки и те самые страховые компании.

Страховая отрасль обладает теми же преимуществами, что и интернет-компании: большой объем высококачественных данных из одной сферы (страхование), привязанных к бизнес-метрикам. С появлением финансово-технологических компаний, основанных на ИИ, таких как Lemonade и Waterdrop^[20], появилась возможность покупать страховку или брать ссуду в компьютерном приложении с мгновенным одобрением.

Сегодня финтех-компании всерьез нацелены на победу над традиционными финансовыми корпорациями – ведь они показывают лучшие финансовые результаты (более низкий уровень дефолтов или мошенничества), предлагают клиентам мгновенные транзакции (с использованием ИИ и приложений) и более низкие затраты (благодаря исключению из этого цикла человеческого фактора). Однако и традиционные финансовые компании не сидят сиднем, а тоже спешно внедряют ИИ – так что гонка стартовала.

Есть еще одно любопытное преимущество финтех-компаний, взявших на вооружение ИИ: возможность использовать не только те данные, которые учитывают специалисты-люди. Иначе говоря, они укрепляют свою прогностическую силу за счет анализа огромного числа разнородных данных, которые не способен учесть никакой страховой агент.

Который не сумеет оценить, например, покупаете вы больше неполезных обработанных пищевых продуктов или полезных овощей; проводите вы больше времени в казино или в тренажерном зале; есть ли у вас постоянная подруга или вы вечно пристаете к женщинам в интернете. Но эти данные могут поведать о вас много важного, в том числе и о вашем относительном риске в качестве клиента страховой компании.

Кстати, миллионы единиц информации (или «признаков») можно найти в приложениях для мобильного телефона. Вот почему в нашем первом рассказе услуги Ganesh Insurance представлены в виде группы приложений под названием «Золотой слон». Они охватывают всё – от электронной коммерции до рекомендаций и купонов, инвестиций, ShareChat (реальная популярная индийская социальная сеть на местных языках) и придуманного Чэнем приложения для гадания FateLeaf.

Каждый раз, когда Наяна что-то покупает, пользуется рекомендацией, просит приложение предсказать судьбу или заводит с кем-то дружбу, Ganesh Insurance получает очередной кусок релевантной информации, и компания использует эти данные, чтобы стать еще более умной и оптимизированной. Это очень похоже на Google, который накапливает о вас очень неплохую базу данных, собирая крохи информации, которые вы случайно «насыпали» в Google, Google Play, Google Maps, Gmail и YouTube.

Потенциально это миллионы признаков, и пусть не все они актуальны и так уж полезны и большая часть имеет весьма скромную прогностическую силу, но даже среди последних глубокое обучение зачастую находит полезные и вполне информативные комбинации, которые между тем совершенно неуловимы и непостижимы для человека.

НЕДОСТАТКИ ГЛУБОКОГО ОБУЧЕНИЯ

Как известно, любая палка – о двух концах, что уж говорить о мощной технологии. Мы не можем представить себе жизнь без электричества – но соприкосновение с источником тока смертельно опасно. Интернет делает наше существование комфортным – но одновременно мешает нам сосредоточиться. Каковы же недостатки глубокого обучения?

Когда кто-то (ИИ) знает тебя лучше, чем ты сам, – это уже большой риск. Очевидны преимущества ИИ: он может порекомендовать новые полезные продукты быстрее, чем ты их заметишь; присоветовать совместимые варианты романтических партнеров и друзей – исходя из того, что ему известно о твоих нынешних близких. Но у такой осведомленности, безусловно, имеется и обратная сторона.

С вами когда-нибудь бывало такое: садишься посмотреть на YouTube одно видео и застреваешь на три часа? Или проходишь в Facebook по какой-то более-менее провокационной ссылке, а тебе тут же рекомендуют куда более экстремальный контент?

В киноленте «Социальная дилемма»^[21] наглядно показано, как непревзойденные способности ИИ в деле персонификации позволяют ему манипулировать нами, а мы даже не осознаем этого. Звезда фильма Тристан Харрис, президент и соучредитель Центра гуманитарных технологий и специалист по этике технологий, так высказался по этой проблеме: «Тебе и невдомек, что твой клик нацелил суперкомпьютер на твой мозг. Он активировал миллиарды долларов вычислительной мощности, которая очень многому научилась на своем опыте заманивания двух миллиардов человеческих существ снова и снова кликать мышью».

Эта зависимость затягивает нас в порочный круг. Он весьма выгоден крупным интернет-компаниям, будучи своего рода станком для печати денег. Еще в фильме утверждается, что все это зачастую резко сужает мировоззрение, поляризует общество, искажает истину и негативно влияет на настроение и психическое здоровье.

Говоря техническим языком, суть проблемы заключается в простоте целевой функции и в опасности бездумной оптимизации целевой функции по одному критерию, так как это способно привести к вредоносным внешним эффектам. Сегодня ИИ обычно оптимизирует единственный критерий – и чаще всего для того чтобы получить больше (кликов, рекламы, доходов). ИИ маниакально сосредоточен на этой корпоративной цели и ничуть не заботится о благополучии пользователей.

В нашей истории «Золотой слон» Ganesh Insurance обещает потенциальным клиентам минимизировать страховые взносы, что в значительной степени коррелирует с минимизацией выплат по медицинскому страхованию и, следовательно, с улучшением здоровья застрахованных. На первый взгляд это подразумевает совпадение корпоративных целей с целями пользователей.

Однако в рассказе ИИ этой страховой компании определяет, что отношения между Наяной и Сахеджем с большой степенью вероятности приведут к увеличению страхового взноса семьи Наяны, и потому изо всех сил старается помешать их зарождающейся любви.

ИИ Ganesh Insurance предобучен находить причинно-следственные связи. Он может обнаружить повышенный риск заболеваний, связанных с курением, и, следовательно, будет пытаться отвратить человека от этой вредной привычки; и это хорошо. Но, руководствуясь узконаправленным анализом данных, ИИ может заставить приложение увеличить страховые взносы из-за потенциального романтического союза. Таким образом, умозаключения ИИ приводят к действиям, которые разрывают души людей на части и усугубляют неравенство.

Как же решается проблема? Один из первейших подходов – обучить ИИ сложным целевым функциям, таким как снижение страховых взносов с учетом фактора справедливости. Например, Тристан Харрис предлагает использовать в качестве метрики не просто «проведенное в интернете время», а «время, проведенное с толком».

Эти две цели можно объединить в одну сложную целевую функцию. Еще одно решение предложено экспертом в области ИИ Стюартом Расселом: гарантировать полезность каждой целевой функции путем поиска способа включить людей в цикл дизайна таких функций.

Например, можно попытаться построить целевые функции для «большего человеческого блага», такого, например, как счастье, и привлечь людей, чтобы определять, какой смысл они вкладывают в это понятие. (Эту идею мы исследуем подробнее в главе 9 «Остров счастья».)

Однако очевидно: эти идеи требуют дополнительных исследований в области сложных целевых функций и поиска способов количественной оценки таких расплывчатых концепций, как «с толком проведенное время», «справедливость» или «счастье». Более того, реализация этих идей изначально предполагает, что компании станут зарабатывать меньше денег.

Так как же нам стимулировать интернет-гигантов поступать правильно, невзирая на неизбежные финансовые потери? Один из способов – на законодательном уровне ввести нормы, предусматривающие наказание для нарушителей.

Другой путь – поощрять позитивное поведение как часть корпоративной социальной ответственности, например с помощью принципов ESG (environmental, social and corporate governance – экологическое, социальное и корпоративное управление). Сегодня принципы ESG уже набирают обороты в некоторых бизнес-кругах, и не исключено, что ответственный ИИ может стать частью будущей структуры ESG.

А еще можно привлечь третьи стороны и отвести им роль сторожевых псов: создавать информационные панели для основных показателей деятельности компаний и отслеживать такие показатели, как количество генерируемых «фейковых новостей» или «судебных исков с обвинениями в дискриминации», чтобы заставить их включать пропользовательские метрики.

И наконец, возможно, самым сложным, но и самым эффективным решением станет обеспечение стопроцентного совпадения интереса владельца ИИ с интересами каждого пользователя (подробнее об этом утопическом варианте рассказывается в главе 9).

У глубокого обучения есть еще один потенциальный недостаток – предвзятость. Поскольку ИИ основывает свои решения исключительно на данных и оптимизации целевой функции, они часто оказываются более справедливыми, чем решения, принимаемые людьми (на которых чрезмерно влияют всевозможные традиции и предрассудки).

Но ИИ тоже может быть предвзятым. Например, если использованных для обучения ИИ данных недостаточно, и, как следствие, они неверно отражают реальную картину, или данных достаточно, но расовая или гендерная демография в них искажена сторонними факторами. В результате отдел управления персоналом однажды обнаружит, что алгоритмы компании предвзяты к женщинам – потому что в обучающих данных было мало женщин.

Данные могут быть предвзятыми еще и потому, что их собирали в обществе с предрассудками. Так, чат-бот Tay компании Microsoft и алгоритм обработки естественного языка GPT-3 компании OpenAI печально прославились неуместными комментариями о меньшинствах.