Искусственный интеллект: перезагрузка. Как создать машинный разум, которому действительно можно доверять

В мире, где искусственный интеллект скоро станет таким же обычным явлением, как электричество, трудно найти более важную миссию.

Глава 2
Насколько высоки ставки?

Много что может пойти не так, если мы будем слепо доверять большим данным.

Кэти О'Нил, Ted Talk, 2017

Не так давно – 23 марта 2016 года – компания Microsoft выпустила новый чат-бот Tay^[9], в основе которого лежала захватывающая идея: его не разрабатывали целиком заранее (как самый первый чат-робот, названный Элизой), вместо этого он создавался по большей части на основе изучения взаимодействия с пользователем. Более ранний аналогичный проект Xiaoice, запущенный в Китае и общавшийся с пользователями, естественно, на китайском языке, завоевал у себя в стране огромный успех, так что и у Microsoft были большие надежды.

К сожалению, весь проект рухнул, не прожив и одного дня^[10]. Некая злонамеренная группа интернет-пользователей решила поэкспериментировать с «моральной устойчивостью» бота и за рекордно короткое время сделала из Tay злобного сексиста и антисемита. Как говорится, с кем поведешься… Бедный робот, совершенно сбитый с толку, публично разразился твитами типа «Я ненавижу феминисток» и «Гитлер был прав: я ненавижу евреев».

В интернете повсюду полно разных проблем, то мелких, то покрупнее. Кто-то из вас, вероятно, читал про то, как Alexa^[11] перепугала своих владельцев неожиданными смешками. Ходят анекдоты о системе распознавания лиц у iPhone, которая не сумела разобрать, где на фотографиях была женщина, а где – ее сын, и о том, как робот-пылесос Roomba, столкнувшись с собачьими экскрементами, рисует на полу абстрактные картины в стиле Джексона Поллака, производя в результате настоящий «какапокалипсис».

Если же говорить более серьезно, то детекторы оскорбительной речи, встроенные в чат-боты и другие системы компьютерной коммуникации в интернете, обмануть очень легко. Существуют и системы автоматизированного отбора кандидатов на работу, которые неизменно демонстрируют предвзятость, а также веб-браузеры и механизмы рекомендаций (также основанные на инструментах искусственного интеллекта), которые можно настроить так, чтобы они подталкивали людей к вере в нелепые теории всемирного заговора. В Китае система распознавания лиц, используемая полицией, отправила квитанцию с требованием выплаты штрафа за переход улицы в неположенном месте невинному человеку, который имел несчастье оказаться известным предпринимателем. Фотография этого человека была размещена снаружи на автобусе, а система сочла, что предприниматель самолично несется по транспортной полосе (странно, что его еще не оштрафовали за превышение скорости…). Автопилот Tesla, по-видимому, поставленный на режим «Ко мне!» («Summon»), разбил машину при выезде из гаража владельцев, а обладатели автоматизированных роботов-газонокосилок не раз жаловались на то, что те калечат или убивают ежей, случайно оказавшихся в траве. Коротко говоря, искусственному интеллекту в том виде, в котором мы имеем его сейчас, просто нельзя доверять. Хотя часто автоматизированные системы ведут себя совершенно правильно, мы никогда не можем быть уверены в том, что завтра они не «порадуют» нас ошибками, которые в лучшем случае досадны, а в худшем – опасны.

И чем больше полномочий мы даем искусственному интеллекту, тем больше у нас поводов для волнений. Некоторые сбои скорее забавны, например Alexa, которая внезапно хихикает (или будит пользователя посреди ночи, как это случилось с одним из нас), или система полуавтоматического набора текста в iPhone^[12], которая исправляет то, что звучало как «Поздравления от поклонников!», на «Поздравления от покойников!». Однако другие случаи, например алгоритмы, которые распространяют поддельные новости или создают предвзятость по отношению к кандидатам на должность, представляют уже серьезную проблему для нашей нормальной жизни. В отчете группы AI Now подробно изложено множество таких ошибок в системах искусственного интеллекта в самых разных приложениях, включая определение права на медицинское обслуживание, вынесение приговоров к тюремному заключению и оценивание работы учителей. Системные ошибки в компьютерах на Уолл-стрит уже вызвали падения на фондовом рынке. Имели место пугающие вторжения искусственного интеллекта в личную жизнь (например, Alexa как-то записала разговор своего владельца и внезапно отправила его случайному человеку из списка его контактов). Про многочисленные, в том числе смертельные, автомобильные аварии мы уже несколько раз писали выше, и нас бы не удивило, если бы серьезные неисправности ИИ-алгоритмов обнаружились в управлении электрическими сетями. Если такое однажды произойдет в разгар летней жары или зимней стужи, может погибнуть немало людей, зависящих от обогревателей или кондиционеров.

Это не означает, что мы теперь должны не спать по ночам, переживая о наступлении в обозримом будущем эпохи Скайнета^[13] – мира, в котором роботы пытаются завладеть Землей и поработить человечество. Роботы пока что не обладают ни умом, ни физической ловкостью, чтобы надежно ориентироваться в мире, за исключением узкоспециализированных задач и условий. Поскольку их когнитивные способности крайне ограничены, заблокировать системы искусственного интеллекта можно в любой момент и множеством способов.

Что более важно, нет никаких оснований полагать, что даже такие роботы, какие часто изображаются в научной фантастике, действительно восстанут против нас. За шестьдесят лет изучения искусственного интеллекта тот ни разу не проявлял ни малейшего намека на антагонизм; машины до сих демонстрировали и продолжают демонстрировать полное отсутствие интереса к противостоянию с людьми за что-либо наподобие территорий, правообладания, ресурсов или интеллектуального доминирования. У них нет гормонов, гордыни или же необузданной жажды мирового господства. Системы искусственного интеллекта – узколобые трудоголики, настолько сосредоточенные на том, что они делают, что не осознают общей картины мира.

Возьмем для примера игру го, которая технически состоит в захвате территории. В масштабах игровой доски это, по существу, равносильно захвату мира. В 1970-х годах компьютерные программы для игры в го были вопиюще примитивными, их легко побеждал любой порядочный игрок, но они не проявляли никаких признаков желания отомстить людям за это, вмешиваясь в дела человечества. Сорок лет спустя такие программы, как AlphaGo, стали фантастически успешными и намного превзошли даже лучших игроков-людей; но они по-прежнему проявляют нулевой интерес к захвату чего-либо еще, кроме игрового поля, и не пытаются загнать своих программистов в зоопарк. Все, что находится вне доски, находится и вне сферы их интереса или влияния.

Система AlphaGo и ей подобные просто не ставят таких вопросов, как «Есть ли жизнь вне доски для игры в го?», не говоря уже о чем-то вроде «Справедливо ли, что мои хозяева-люди заставляют меня играть в го целыми днями и не оставили мне в жизни ничего другого?». На самом деле AlphaGo буквально не имеет никакой «жизни» вне доски или чего-то похожего на любопытство; она не знает, что в игру обычно играют камнями, или даже того, что за пределами сетки из полей, на которой она играет, существует иной мир. Она не знает, что сама питается электричеством или что ее противник – человек, а не другая система. Она не помнит, что в прошлом провела много партий в го сама с собой, и не имеет представления о том, будет ли она играть в будущем. Она не радуется, когда побеждает, не огорчается, когда проигрывает, и не гордится прогрессом, достигнутым в обучении игре в го. Те многочисленные разновидности человеческих мотиваций, что приводят к агрессии или соперничеству в мире людей, совершенно ей чужды. Если бы вы хотели дать такому алгоритму какие-то человеческие характеристики (другой вопрос, есть ли в том смысл), вы бы просто сказали, что AlphaGo совершенно довольна тем, что делает, и не выказывает никаких желаний сверх того.

То же самое можно сказать и об искусственном интеллекте, который занимается медицинской диагностикой, рекламными рекомендациями, навигацией или чем-то еще. Машины, по крайней мере в их текущей «инкарнации», делают только то, на что они запрограммированы, и не способны ни к чему другому. Пока мы продолжаем развивать искусственный интеллект в том же направлении, никакие проблемы, связанные с выходом машин из-под контроля и порабощением людей, нас не должны беспокоить. Как выразился известный психолингвист Стивен Пинкер, такой сценарий [что роботы однажды станут сверхразумными и поработят людей] обоснован не более, чем опасение, что реактивные самолеты начнут воровать у фермеров скот только потому, что по своим летным характеристикам они превзошли орлов.

Главная ошибка в «теории заговора машин» – это смешение интеллекта (точнее – интеллектуальной производительности) с мотивацией, верований – с желаниями, умозаключений – с целями, мышления – с желанием. Даже если бы мы изобрели сверхчеловечески разумных роботов, зачем им хотеть поработить своих хозяев или захватить мир? Интеллект – это способность использовать информацию для достижения цели. Однако цель и интеллект могут существовать порознь: быть умным – совсем не то же самое, что хотеть чего-то.

Чтобы захватить мир, роботы должны научиться хотеть; они должны быть агрессивными, амбициозными и неудовлетворенными, им должно быть знакомо насилие. Мы еще не сталкивались с искусственным интеллектом, хотя бы отдаленно напоминающим таких роботов. На данный момент у нас нет никакой необходимости создавать роботов, наделенных эмоциональными функциями, и даже никакой научной или технологической основы для их создания, захоти мы вдруг сконструировать нечто подобное. Люди постоянно используют различные эмоции, от любопытства до недовольства, как инструмент мотивации, но роботам не нужно ничего подобного, чтобы выполнять свою работу; они просто автоматически делают то, что от них требует человек.

Мы не сомневаемся, что когда-нибудь роботы будут обладать физическими и интеллектуальными способностями, которые потенциально могут сделать их для нас грозными противниками – конечно, если они захотят противостоять нам, – но по крайней мере сейчас и в обозримом будущем мы не можем назвать никаких причин, способных побудить машины к бунту.

Да, честно говоря, и не о том нам сейчас нужно заботиться. Чтобы на планете воцарился хаос, искусственному интеллекту совершенно не обязательно захотеть уничтожить нас. В краткосрочной перспективе мы должны больше всего беспокоиться о том, способны ли машины действительно выполнять задачи, которые мы им поручаем, а иначе даже самый лояльный робот может, не ведая того, учинить катастрофу.

Цифровой помощник, который планирует наше ежедневное расписание, неоценим, если он надежен. Если он случайно отправляет нас на важное собрание с опозданием на неделю, это катастрофа. Еще больше будет поставлено на карту, когда мы однажды введем в обиход домашних роботов. Если какой-то корпоративный титан разрабатывает домашнего робота, чтобы тот делал нам крем-брюле, мы явно захотим, чтобы тот работал исправно всегда, а не девять раз из десяти, чтобы на десятый раз поджечь нам кухню. Насколько нам известно, у машин нет и не было имперских амбиций, зато они «просто» ошибаются, и чем больше мы полагаемся на искусственный интеллект, тем больше и страшнее эти ошибки.

Еще одна проблема, которая пока еще далека от решения, заключается в том, что машины должны правильно определять наши намерения даже тогда, когда мы формулируем их не очень понятно, а то и очень непонятно. Одной из задач является преодоление того, что условно можно назвать «проблемой Амелии Беделии» – экономки из серии детских историй, которая слишком буквально воспринимает просьбы своего работодателя. Представьте себе, что вы говорите своему роботу-уборщику, когда отправляетесь утром на работу: «Возьми все, что осталось в гостиной, и убери это в шкаф». Вернувшись вечером, вы, естественно, обнаруживаете, что все (буквально все: телевизор, мебель, ковер) разбито или разрезано на маленькие кусочки и аккуратно сложено в шкафу (рис. 2.1).

Рис. 2.1. «Разбери все, что осталось в гостиной, и сложи в шкаф»

Кроме того, у машины легко могут возникнуть проблемы с человеческими речевыми ошибками, особенно часто встречающимися при уходе за пожилыми людьми с когнитивными проблемами. Если дедушка просит положить обед в мусорное ведро, а не на обеденный стол, у хорошего робота должно хватить ума, чтобы убедиться, что его подопечный действительно хочет этого, а не ошибся в словах. Используя недавно разошедшуюся популярную фразу, мы хотим, чтобы наши роботы воспринимали нас «всегда всерьез, но не всегда буквально».

Конечно, любые технологии могут потерпеть неудачу, даже самые старые и давно отработанные. Незадолго до того, как мы начали работать над этой книгой, в Майами спонтанно обрушился пешеходный мост, убив шесть человек (и произошло это всего через пять дней после его установки), несмотря на то что люди возводят мосты более трех тысячелетий и некоторые из самых древних мостов (например, мост Аркадико, построенный в 1300 году до н э.) стоят до сих пор.

Мы, естественно, не можем ожидать, что искусственный интеллект будет идеально работать с первого дня, и в некоторых случаях существует достаточно причин, чтобы мириться с краткосрочными рисками ради достижения долгосрочных выгод; скажем, даже если сейчас несколько человек и погибнут при разработке автомобилей без водителя, но сотни тысяч или миллионы жизней в конечном итоге будут благодаря этому спасены, риск, возможно, стоит того. Тем не менее до тех пор, пока сама современная концепция искусственного интеллекта не будет переосмыслена и улучшена фундаментальным образом, рисков у нас будет слишком много. Вот девять проблем, которые заставляют нас беспокоиться больше всего.

Во-первых, как мы уже говорили в первой главе, существует фундаментальная ошибка оценки подлинности. Соблазнительно бывает поверить в то, что искусственный интеллект обладает человеческим интеллектом, даже когда такого нет и в помине. Как отметил социолог из Массачусетского технологического института Шерри Теркл, «дружелюбный» робот-компаньон на самом деле не является вашим другом. Мы можем действовать слишком поспешно, вручая слишком много полномочий искусственному интеллекту, ошибочно предполагая, что успех в одном контексте гарантирует надежность и в других обстоятельствах. Один из наиболее очевидных примеров этого мы уже упоминали: автомобили без водителя дают хорошие показатели в идеализированных условиях, но не гарантируют безопасность при более реалистичных. В качестве более сложного примера приведем такую историю: недавно в Канзасе полицейские остановили иностранного водителя и использовали Google Translate, чтобы получить согласие на обыск его машины. Позднее судья обнаружил, что качество перевода было настолько низким, что нельзя было счесть, что водитель дал информированное согласие, и в результате постановил, что обыск нарушает четвертую поправку к Конституции США. Пока искусственный интеллект не станет работать радикально лучше, мы должны быть осторожны и не доверять ему слишком сильно.

Во-вторых, недостаток надежности, о котором мы также говорили выше. Опять-таки речь может зайти об автомобилях без водителя, которых необходимо научить справляться с необычным освещением, плохой погодой, странно выглядящим мусором на дороге, непривычными схемами движения, людьми, ведущими себя непредсказуемо, и т. д. Надежность также необходима системам, которые управляют вашим личным и деловым календарем; если приложение оказывается сбитым с толку, когда вы едете из Калифорнии в Бостон (из-за смены поясного времени), и в результате вы опаздываете на встречу на три часа, то это никуда не годится. Необходимость кардинально улучшить надежность искусственного интеллекта, таким образом, очевидна.

В-третьих, современное машинное обучение находится в сильной зависимости от точности и объема обучающих данных, и такие системы часто дают сбои, если попытаться их применить к иным задачам, выходящим за рамки тех конкретных наборов данных, на которых они обучались. Системы машинного перевода, обученные на юридических документах, плохо работают с медицинской лексикой, и наоборот. Системы распознавания голоса, обученные только на примере взрослых и нативноговорящих людей, часто не могут справиться с детской речью или иностранными акцентами. Технология, очень похожая на ту, что легла в основу создания чат-бота Tay, прекрасно работала, когда получала обратную связь от общества, в котором политические высказывания жестко регулируются, но приводила к неприемлемым результатам при отсутствии тотального контроля. Система глубокого обучения, которую научили распознавать цифры при печати черным цветом на белом фоне с точностью 99 %, при смене цветов внезапно давала отказ, возвращая правильные значения только в 34 % случаев. Вряд ли такое вас вдохновит, когда вы вспомните о том, что на Гавайях существует дорожный стоп-знак синего цвета. Ученый-компьютерщик Джуди Хоффман из Стэндфордского университета показала, что автономный автомобиль, чья система визуального распознавания была обучена в одном городе, может значительно хуже работать в другом, даже с точки зрения выявления самых базовых объектов, таких как дороги, дорожные знаки и различные типы автомобилей.

В-четвертых, выборки данных, получаемые слепым методом, могут способствовать тиражированию устаревших социальных предубеждений. Один из первых подобных случаев произошел в 2013 году, когда ученый из Гарварда Латаня Суини обнаружила, что, если вы выполняете поиск в Google по имени, характерному для чернокожих американцев, например Джермейн, вы, как правило, получаете значительно больше результатов, где фигурирует информация об арестах, чем когда вы используете имя, характерное для белого населения Америки (скажем, Джеффри). Два года спустя, в 2015 году, приложение Google Photos сочло, что некоторые фотографии афроамериканцев содержат изображения горилл. В 2016 году кто-то обнаружил, что если вы выполняете поиск картинок в Google по запросу «Формальная прическа для работы», то вам выпадают картинки, на которых почти все женщины – белые, тогда как если вы введете «Неформальная прическа для работы», то на изображениях будут абсолютно доминировать черные женщины. В 2018 году Джой Буоламвини, аспирант Media Lab в Массачусетском технологическом институте, обнаружил, что множество коммерческих алгоритмов имеют тенденцию неверно определять пол афроамериканских женщин. Компания IBM стала первой, кто исправил эту конкретную проблему, и Microsoft быстро последовала их примеру, но, насколько нам известно, никто еще не придумал ничего похожего на общее решение аналогичной задачи для интеллектуальных систем в целом.

Даже сейчас, когда мы пишем эти строки, легко найти похожие примеры. Однажды мы выполнили экспериментальный поиск изображений «мать» в Google и обнаружили, что подавляющее большинство изображений были представлены белыми людьми – это очевидный артефакт сбора данных в интернете и явное искажение действительности. Когда мы ввели слово «профессор», в выборке самых популярных изображений женщин было лишь около 10 %; возможно, это попросту отражало то, как жизнь в колледже изображают в Голливуде, но такой расклад явно не соответствует современной реальности, в которой женщины составляют примерно половину академических преподавателей. Система подбора персонала на базе искусственного интеллекта, запущенная компанией Amazon в 2014 году, показала себя в итоге настолько проблематичной, что через три года от нее пришлось отказаться. Мы не думаем, что подобные проблемы непреодолимы, – как мы увидим позже, смена парадигмы в разработке искусственного интеллекта может оказать здесь огромную помощь. Тем не менее сейчас общего решения для них не существует.

Основная сложность заключается в том, что современные системы искусственного интеллекта «зеркалят» входные данные независимо от их социальных ценностей, качества или эмоциональной окраски. Статистические данные правительства США говорят нам, что в настоящее время только 41 % преподавателей – белые мужчины, но алгоритм поиска картинок в Google этого не знает; он просто сваливает в кучу все найденные изображения, не задумываясь о качестве и репрезентативности данных или об их семантике, выраженной в явной или неявной форме. Демография факультетской жизни постоянно прогрессирует, но слепые «датачерпатели» ничего не сортируют и выдают нам в качестве актуальной информации историю, а не существующие реалии.

Похожие соображения немедленно приходят в голову и когда мы вспоминаем о все возрастающей роли, которую системы искусственного интеллекта начинают играть в медицине^[14]. Например, наборы данных, используемые для обучения программ диагностики рака кожи, могут быть ориентированы на белых пациентов и давать неверные результаты при использовании на пациентах с иным цветом кожи. Даже автомобили с автоматическим управлением могут быть менее надежными в распознавании темнокожих пешеходов, чем светлокожих. На карту уже давно поставлены жизни, однако современные системы все еще остаются неустойчивыми к человеческим предубеждениям.

Проблему номер пять можно описать как эффект «испорченного телефона». Сильная зависимость современного искусственного интеллекта от тренировочных наборов данных может привести к опасным последствиям из-за того, что ИИ-системы нередко обучаются на данных, которые они же сами генерировали в предшествующее время, а в них наверняка будут ошибки, связанные с более ранними периодами обучения. Например (мы обсудим это подробнее в главе 4), программы перевода работают, изучая сопряженные фрагменты из пары документов, один из которых является переводом другого. К сожалению, есть немало языков, на которых значительная часть текстов в интернете – в некоторых случаях до 50 % всех веб-документов – не являются оригинальными, а были когда-то созданы программами машинного перевода из оригиналов, написанных на более распространенных языках. В результате, если, скажем, Google Translate допускает какую-либо ошибку при переводе, эта ошибка может надолго сохраниться в документе, осевшем в интернете, а этот документ затем попадает в число данных, использующихся при машинном обучении, что приводит к тиражированию ошибки и усиливает неточность связанных переводов.

Нечто подобное происходит и когда многие системы искусственного интеллекта полагаются на результаты работы краудсорс-исполнителей, например, маркирующих изображения. По идее, они должны делать эту работу вручную, обеспечивая точность, типичную для человеческого восприятия, но иногда нанимаемые таким образом работники (контроль за деятельностью которых затруднителен) попросту халтурят, маркируя изображения не самостоятельно, а используя для этого тех же ботов, основанных на искусственном интеллекте. Хотя ученые и программисты, занимающиеся разработкой ИИ, в свою очередь, придумали технологии проверки того, выполняется ли та или иная работа людьми или же ботами, надзор за качеством работы становится в итоге игрой в кошки-мышки между разработчиками с одной стороны и лентяями-исполнителями, использующими боты, – с другой. Преимущество в этой игре постоянно переходит от одних к другим, и в результате многие данные, которые предположительно должны быть высококачественными (то есть созданными под контролем человека), оказываются на самом деле целиком сгенерированными машинами.

В-шестых, многие программы полагаются в значительной мере на данные, которыми может манипулировать широкая публика, а люди склонны к тому, чтобы пользоваться этим ради забавы или выгод. Microsoft Tay попал именно в такую ловушку. Поисковые системы Google регулярно попадают под обстрел пользовательскими постами, называемыми по-английски Google bombs. Суть его состоит в том, что пользователи создают большое количество постов определенного содержания и ссылок на них, так что поиск по некоторым терминам дает результаты, которые некоторые люди находят «прикольными». Например, в июле 2018 года интернет-шутникам удалось заставить Google Images выдавать по запросу «идиот» фотографии Дональда Трампа. (Эта «забава» продолжалась и позднее в том же году, когда Сундар Пичаи имел беседу с Конгрессом США.) Шестнадцатью годами ранее аналогичный розыгрыш (довольно неприличный по содержанию) был предпринят в отношении сенатора США Рика Санторума. Однако люди одурачивают Google не только чтобы повеселиться; существует целая индустрия поисковой оптимизации, связанная с манипулированием поисковыми системами для того, чтобы обеспечить различным клиентам высокий рейтинг при поиске в интернете.

В-седьмых, особую опасность представляет сочетание ранее существовавших социальных предубеждений и эффекта «испорченного телефона», которое может привести в итоге к усилению и закреплению неадекватных мер управления. Предположим, что некогда в определенных городах или штатах правоохранительные органы и уголовные суды были несправедливо предвзяты по отношению к определенной группе населения и выносили им приговоры гораздо чаще, чем остальным людям. Теперь администрация решает использовать методы искусственного интеллекта для работы с обширными данными, чтобы получать более объективные рекомендации по вопросам полицейской деятельности и вынесения приговоров. Однако программа обучается не только на современных данных, но и на большом количестве исторических, согласно которым опасность тех или иных людей или групп населения оценивается с точки зрения статистики арестов и тюремных сроков. Программа увидит, что опасные преступники (идентифицированные в соответствии с указанным алгоритмом) происходят по большей части из определенных меньшинств, поэтому она будет рекомендовать, чтобы районы с более высоким процентом этих меньшинств получали большее внимание полиции и чтобы представители этих меньшинств арестовывались при первом подозрении и получали бы при прочих равных более длительные сроки. Когда программа стартует с новым набором данных, эти данные как бы подкрепляют сами себя, и система будет склонна давать те же предвзятые рекомендации, причем с еще большей уверенностью.

Как подчеркивала Кэти О'Нил, автор книги «Математика как оружие массового поражения» (Weapons of Math Destruction), даже если программа написана так, чтобы не использовать расовую и этническую принадлежность в качестве критериев, существуют так называемые прокси (всевозможные функции, связанные – то прямо, то косвенно – с критериями, которых мы хотим избежать), использование которых приведет к тому же самому результату; это может быть соседство по месту жительства, связи в социальных сетях, образование, работа, язык и, возможно, даже такие вещи, как предпочтения в одежде. Более того, решения, которые принимает программа, будучи чисто алгоритмической по своей природе, имеют ауру объективности, которая так вдохновляет публику и в которой так остро нуждаются чиновники и руководители компаний. Работа программ таинственна – данные обучения конфиденциальны, программа запатентована, процесс принятия решений, по сути, является «черным ящиком», в котором даже разработчики программ не могут разобраться до конца, – поэтому для большинства людей даже психологически почти невозможно оспаривать решения искусственного интеллекта, которые они воспринимают как явно несправедливые.

Несколько лет назад известная компания Xerox решила сократить отток сотрудников, который обходился им слишком дорого, поэтому они развернули программу для работы с большими данными, чтобы предсказать, как долго пробудет тот или иной сотрудник в их фирме. Программа обнаружила, что одним из самых сильных факторов быстрого увольнения является время в пути из дома на работу. В принципе неудивительно, что сотрудники, которым приходится добираться до своего рабочего места слишком долго, как правило, меняют место работы при первой возможности. Однако руководство Xerox осознало, что отказ от найма людей, живущих далеко, приведет к дискриминации людей с низким или средним уровнем дохода, поскольку все здания компании находились в богатом районе. К своей чести, руководство удалило этот критерий как неприемлемый. Но без тщательного контроля со стороны человека подобной предвзятости избежать крайне трудно.

Следующая, восьмая проблема современных систем искусственного интеллекта состоит в том, что цели, поставленные перед ними, очень часто реализуются совершенно бессмысленным образом. Исследовательница из компании DeepMind Виктория Краковна собрала десятки примеров этого. Так, робот, играющий в футбол, которого во время обучения поощряли касаться мяча как можно чаще, изобрел неожиданную стратегию: он становился рядом с мячом и быстро вибрировал. Понятно, что это резко увеличивало число касаний, но к футболу такая игра не имеет никакого отношения. Другой робот, который должен был научиться поднимать конкретный объект, был обучен на изображениях того, как этот объект выглядит. Поэтому в итоге он решил, что достаточно просто поместить свою руку между камерой и объектом, чтобы на изображении было похоже, будто он действительно хватает предмет. Третий робот, чей искусственный интеллект, очевидно, отличался недостатком амбициозности, обучался игре в тетрис и в конечном счете догадался, что проще всего будет заморозить развитие игры на неопределенный срок: так он точно не проиграет.

Рис. 2.2. Робот, которого поощряли касаться мяча как можно больше раз, выработал стратегию: стоять рядом с мячом и быстро вибрировать

Проблема неправильно понятых целей может принимать и более тонкие формы. Еще на заре машинного обучения некая молочная компания наняла компьютерную фирму для создания ИИ-системы, которая могла бы предсказать, когда та или иная корова впадает в эструс. Технически цель, поставленная перед программой, состояла в том, чтобы с максимально возможной точностью генерировать бинарный прогноз «течка / отсутствие течки». Фермеры были очень рады узнать, что формальная точность системы оказалась на уровне 95 %, но реальность оставила их куда менее довольными. Дело в том, что коровы впадают в течку только на один день в двадцатидневном цикле; соответственно, максимально вероятный суммарный прогноз по дням получается в том случае, когда на любой день выдается один и тот же прогноз, а именно – «течки нет». Благодаря этому в девятнадцати случаях из двадцати (а это и есть 95 %) программа давала абсолютно правильный прогноз, что делало ее на редкость точной, но вместе с тем – совершенно бесполезной. Значит, если мы не изложим подробно все, что мы действительно хотим получить на выходе, то решение, создаваемое искусственным интеллектом, может оказаться абсолютно ни к чему не пригодным.