photo_2018-04-19_22-56-00 — копия 2
t.me/marketologmanager

Ханна Фрай

Hello World. Как быть человеком в эпоху машин

Hannah Fry

Hello World. How To Be Human in the Age of the Machine

© Hannah Fry Limited 2018

© Ю. Плискина, перевод на русский язык, 2021

© А. Бондаренко, Д. Черногаев, художественное оформление серии, 2021

© ООО «Издательство АСТ», 2021

Издательство CORPUS ®

* * *

Посвящается Марии Фрай.

Спасибо тебе за то, что ты никогда не говоришь “нет”.

Комментарий к названию книги

Когда мне было семь лет, папа принес нам с сестрами подарок. Миниатюрный восьмиразрядный ZX Spectrum – это был наш первый собственный компьютер. Он попал к нам в дом подержанным и уже тогда устарел, наверное, лет на пять, но мне с первого взгляда стало ясно, что эта непритязательного вида машинка способна творить чудеса. Spectrum мало чем отличался от Commodore 64, при том что этой игрушкой в нашей округе могли похвастаться только детки богачей, но для меня, безусловно, наш был гораздо круче. Гладкий черный корпус удобно лежал в руках, радужная полоска, отсекающая уголок, и серые резиновые кнопочки выглядели очень симпатично.

ZX Spectrum, словно памятная вешка, обозначил начало незабываемого лета, которое мы с сестрой провели на чердаке, играя на компьютере в виселицу – загадывая друг другу слова и рисуя немудреные картинки с помощью кода. Впрочем, на столь “продвинутый” уровень мы вышли позже. Сперва надо было освоить азы.

Сейчас я не могу вспомнить, когда именно я написала свою первую программу, но точно знаю, что это была за программа. Очевидно, это была та же простая задача, которую я теперь задаю всем своим студентам в Университетском колледже Лондона, – вы наверняка найдете ее на первых страницах любого учебника по программированию для начинающих. Ибо для всех, кто хоть как-то учился программированию, это уже стало традицией, можно сказать, обрядом инициации. Любой новичок получит задание написать на экране знаменитое приветствие:

HELLO WORLD

Впервые это упражнение предложил в своей знаменитой книге[1] Брайан Керниган еще в семидесятых годах прошлого века, и с тех пор оно вошло в традицию. Эта книга – и, следовательно, фраза – указывает на переломный момент в истории компьютеров. Только что появились микропроцессоры, ознаменовавшие переход от прежних ЭВМ с перфокартами и перфолентами – гигантских профессиональных машин – к чему-то более похожему на привычные нам персональные компьютеры с монитором, клавиатурой и мигающим курсором. Как только мы научились обмениваться репликами с компьютером, на экране вспыхнуло приветствие HELLO WORLD.

Позже в интервью журналу Forbes Брайан Керниган рассказал, почему он выбрал именно эту фразу. В одном мультфильме он увидал сценку, где только что вылупившийся из яйца – цыпленок пропищал: “Hello world!”, и эти слова засели у него в голове.

Не вполне ясно, что здесь должен символизировать цыпленок – энергичного юнца, радостно возвестившего о своем решительном старте в программировании? Или сам компьютер, словно в полусне обрабатывавший таблицы и текстовые документы и теперь получивший новый заряд бодрости, чтобы подключить свой разум к живому миру и приступить к выполнению приказов нового хозяина? Возможно, и то и другое. Одно ясно: эти слова объединяют всех программистов и устанавливают контакт между человеком и запрограммированной – машиной.

Эта фраза нравится мне еще и по другой причине, в наши дни особенно веской и значимой. Поскольку наше будущее все больше зависит от компьютеров и компьютерных программ, дружеское приветствие напоминает нам о важности диалога человека и машины. О том моменте, когда между оператором и подконтрольной ему системой возникает неощутимая связь. Эти слова говорят о том, что мы начинаем налаживать партнерские отношения и пускаемся в совместное странствие по жизни, в котором друг без друга не обойтись.

В эру компьютеров упускать из виду этот тезис нельзя.

Введение

Все, кто хоть раз в жизни посетил Джонс-Бич на Лонг-Айленде, по пути к океану должны были проследовать под целой серией мостов. Предназначенные для съезда с автомагистрали и въезда на нее, эти мосты имеют одну удивительную особенность. Их элегантные арки очень низко нависают над машинами – кое-где просвет между сводом и дорожным полотном меньше трех метров.

Для столь странного конструкторского решения были основания. В 1920-х годах влиятельный нью-йоркский чиновник Роберт Мозес имел твердые намерения сохранить для богатых белых американцев свой новый, только что обустроенный, отмеченный наградами парк Джонс-Бич. Мозес понимал, что его целевая аудитория отправится к морю на личных автомобилях, в то время как темнокожая беднота воспользуется автобусом, поэтому он нарочно ограничил въезд, построив на протяжении всего шоссе сотни низеньких мостов. Слишком низких для того, чтобы под ними прошел четырехметровый автобус[2].

Но расистские мосты – не единственные бездушные, немые контролеры, способные тайно управлять людьми. История знает множество случаев, когда предметы и технические инновации обретали власть, которой им на самом деле никто не давал[3]. Бывало, что конструкторы вынашивали какие-то недобрые планы и умышленно добавляли такие свойства, но случался и простой недосмотр – вспомните хотя бы о нехватке в городе удобных пандусов для инвалидных колясок. Последствия могли быть самыми неожиданными, как в случае с ткацкими станками девятнадцатого столетия. Эти машины создали для того, чтобы упростить производство тканей со сложным рисунком, а в итоге заработки, условия труда и занятость рабочих изменились так, что станки превратились в гораздо более жестоких эксплуататоров, чем любой капиталист в викторианской Англии.

Не лучше обстоят дела и с современными изобретениями. Спросите жителей английского городка Сканторпа, которым крупнейший интернет-провайдер AOL заблокировал аккаунты, потому что название города не удовлетворяло новому фильтру ненормативной лексики[4][5]. Или нигерийца по имени Чуквуэмека Афигбо, обнаружившего, что автоматический диспенсер жидкого мыла не реагирует на темную кожу, хотя аккуратно выдает положенную порцию на подставленные руки его белого друга. Или Марка Цукерберга, которому в 2004 году, когда он писал код новой соцсети Facebook в кампусе Гарвардского университета, и в голову не могло прийти, что его детище обвинят в содействии манипулированию выборами по всему миру[6][7].

В основе каждого такого изобретения лежит тот или иной алгоритм. Ленты соцсетей и поисковики, спутниковая навигация, программы подбора музыки – все это и многое другое держится на алгоритмах, невидимых фрагментах кода, винтиках и шестеренках современных технологий, и в наши дни алгоритмы – это такая же неотъемлемая часть инфраструктуры, как и привычные мосты, дома и фабрики. Алгоритмы работают в больницах, залах судебных заседаний и автомобилях. Они используются в полиции, супермаркетах и на киностудиях. Они знают, что мы любим и что ненавидим, диктуют нам, что смотреть, что читать и с кем встречаться. И при этом они обладают тайной властью, вынуждая нас исподволь, почти незаметно для себя менять представления о том, что значит быть человеком.

В этой книге мы откроем для себя самые разнообразные алгоритмы, которым мы всё больше доверяем, хотя порой и безотчетно. Мы самым внимательным образом изучим их предназначение, посмотрим, какой еще властью они наделены и какие они ставят новые проблемы. Мы увидим, по каким алгоритмам полицейские решают, кого следует арестовать, и нам придется выбирать, что для нас дороже – защита жертв преступлений или невиновность обвиняемых. Мы узнаем, на какие алгоритмы опираются судьи при вынесении приговоров преступникам – и всерьез задумаемся о том, каким должно быть правосудие. Познакомимся с алгоритмами, которые управляют беспилотными автомобилями (и заставляют нас внятно прописывать нравственные нормы), помогают медикам проверять диагнозы, влияют на наши чувства и несут в себе угрозу – демократии.

Я вовсе не утверждаю, что зло заложено в самих алгоритмах. На этих страницах вы найдете массу причин для оптимизма. Ни одна вещь и ни одна программа сами по себе ни плохие, ни хорошие. Важно, как их применяют. GPS придумали для наведения ядерных ракет, а теперь этой системой пользуются разносчики пиццы. Поп-музыка на бесконечном повторе стала орудием пытки. И даже самой прекрасной цветочной гирляндой при большом желании можно задушить человека. Чтобы составить мнение об алгоритме, необходимо разобраться во взаимоотношениях человека с компьютером. Каждый компьютер связан неразрывными узами со своими создателями и пользователями.

В сущности, отсюда следует, что эта книга – о людях. О том, кто мы, куда мы движемся, что для нас важнее всего и как на все это влияют новые технологии. О наших отношениях с вездесущими алгоритмами, которые работают вместе с нами, повышают наши возможности, исправляют наши ошибки, решают наши проблемы и заодно создают нам новые.

Это книга о том, насколько вообще полезны для общества компьютерные программы. О том, когда стоит согласиться с верховенством машины в принятии решения, а когда лучше побороть в себе соблазн свалить ответственность на нее. О том, как проникнуть в тайны работы алгоритма и узнать, где заканчиваются его возможности, о том, что мы должны внимательно посмотреть на себя и разобраться в себе. О том, как отделить добро от зла и решить, в каком мире мы хотим жить.

Потому что будущее не приходит само собой. Его создаем мы.

Власть

Гарри Каспаров прекрасно знал, как деморализовать противника. Когда ему было 34 года, его авторитет сильнейшего гроссмейстера планеты заставлял нервничать всех, кто встречался с ним за шахматной доской. Вдобавок у него в арсенале был один особенно хитрый психологический прием, который наводил на соперников благоговейный ужас. В то время как они мучительно пытались выстоять, вероятно, в самом трудном матче за всю их карьеру, русский шахматист будто бы невзначай брал свои наручные часы, лежавшие рядом с доской, и надевал их на запястье. Этот жест все понимали однозначно: Каспарову наскучило играть в игрушки. Часы показывали сопернику, что пора капитулировать. Можно, конечно, еще посопротивляться, но все равно победа останется за Каспаровым[8].

Однако в мае 1997 года, во время исторического матча Гарри Каспарова и компьютера Deep Blue, выяснилось, что на машину эти фокусы не действуют. Все знают, чем закончился поединок, но не всем известна любопытная предыстория уверенной победы компьютера. Символичный триумф машины над человеком, со всех сторон, как ни посмотри, отметивший наступление эры алгоритмов, объяснялся не только такой примитивной причиной, как точность расчетов. Для того чтобы обыграть Каспарова, компьютер должен был понять, как мыслит не мощный процессор, способный совершать изящные шахматные ходы, а живой человек.

Инженерам IBM пришла в голову гениальная идея – создать впечатление, будто Deep Blue сомневается больше, чем на самом деле. В том знаменитом матче из шести партий компьютер периодически “задумывался”, иногда на несколько минут, прежде чем сделать уже рассчитанный ход. Его сопернику казалось, что машина испытывает какие-то трудности и пытается произвести новые вычисления. Получалось, будто бы Каспаров прав в своих предположениях: он сумел повести игру так, чтобы компьютер запутался в море возможных вариантов и не смог выбрать верную комбинацию[9]. Однако машина точно знала, что делать, и всего лишь тянула время. Тактика жульническая, но эффективная. В первой же партии Каспаров стал гадать, на что способен компьютер, и это его отвлекало[10].

Первую партию он выиграл, зато во второй Deep Blue уже целиком завладел его мыслями. Каспаров старался заманить машину в ловушку, чтобы она взяла некоторые фигуры, позволив ему через несколько ходов высвободить ферзя и атаковать[11]. И сам Каспаров, и наблюдавшие за игрой специалисты полагали, что Deep Blue попадется на удочку. Но компьютер каким-то образом учуял подвох. К вящему удивлению Каспарова он разгадал гроссмейстерский маневр и заблокировал его ферзя, что лишило человека шансов на победу[12].

Каспаров явно был шокирован. Ошибочное суждение о способностях компьютера стоило ему победы. Как он сказал в интервью через несколько дней после игры, “в какой-то момент Deep Blue вдруг заиграл как бог”[13]. Много лет спустя, вспоминая свое тогдашнее состояние, он напишет, что ходы компьютера казались неожиданными, но очень сильными, и это была ошибка[14]. Как бы там ни было, победил алгоритмический гений. Он угадал ход мыслей человека, увидел его слабые стороны, перехватил инициативу, и слишком уж человеческий гений потерпел поражение.

Вторую партию обескураженный Каспаров сдал без борьбы за ничью. После этого его самоуверенность потихоньку улетучилась. Третья, четвертая и пятая партии закончились вничью. К шестой Каспаров сломался. Итог матча – 3½: 2½ в пользу Deep Blue.

Это был непонятный проигрыш. Каспаров запросто мог бы найти выход из любой сложившейся на доске позиции, но сначала недооценил возможности машины, а затем позволил ей запугать себя. “Игра Deep Blue произвела на меня колоссальное впечатление, – писал он в 2017 году об этом матче. – Я мог думать лишь о способностях компьютера и от этого не сознавал, что мои проблемы вызваны скорее моей плохой игрой, нежели хорошей игрой машины.”[15].

Как мы еще не раз увидим в этой книге, важно, чего мы ждем. Победа компьютера над знаменитым гроссмейстером показывает, что потенциал алгоритма не ограничивается содержанием строк программы. Чтобы оставаться у руля, мы должны понимать, где и в чем мы уязвимы, – а также знать слабые места программы.

Но если даже Гарри Каспаров не сумел справиться с этой задачей, на что остается надеяться нам, обычным людям? Далее мы увидим, как алгоритмы проникают буквально во все аспекты современной жизни, от здравоохранения и борьбы с преступностью до транспорта и политики. При этом мы умудряемся одновременно и относиться к ним с пренебрежением, и преклоняться перед их силой. В результате мы понятия не имеем, много ли власти мы им уступили и как далеко все зашло.

Назад к основам

Прежде чем мы углубимся в изучение этой темы, возможно, стоит ненадолго отвлечься и поговорить о том, что же такое алгоритм. Хотя этот термин у всех на слуху, смысл самого слова довольно туманный. Формально определение таково[16]:

Алгоритм (сущ.): порядок действий, которые необходимо совершить для решения той или иной задачи или достижения заданной цели, особенно с помощью компьютера.

Всего-то. Алгоритм – это просто набор инструкций, которые помогают шаг за шагом дойти от исходных данных до решения задачи. В широком смысле рецепт пирога – тоже алгоритм. Под это определение подпадают и советы, которые вы даете заблудившемуся приезжему. Инструкции из IKEA, видео с YouTube, где вам показывают, что и как сделать, даже всевозможные практические руководства – теоретически алгоритмом можно считать любой перечень инструкций, в котором содержится полная информация о том, как достичь конкретной цели.

Однако область применения этого термина несколько иная. Обычно алгоритмом называют нечто более специальное. Алгоритм действительно представляет собой набор пошаговых инструкций, но при этом почти всегда речь идет о математическом объекте. Используя уравнения, арифметические и алгебраические действия, матанализ, логику и теорию вероятностей, алгоритм превращает ряд математических операций в компьютерную программу. Ему предоставляют данные из жизни, ставят задачу и запускают его, чтобы дальше он сам продирался через формулы к ответу. Именно алгоритмы делают информатику настоящей наукой, и благодаря им машины сотворили за последние десятилетия массу самых удивительных чудес.

Существует несметное множество всевозможных алгоритмов. Каждый из них имеет свое предназначение, свои отличительные особенности, свою изюминку и свои недостатки, и до сих пор неясно, как их лучше классифицировать. Но в целом удобно выделить четыре основные категории задач, которые выполняют алгоритмы[17]:

1. Расстановка приоритетов – составление упорядоченного списка

Исходя из ранжирования результатов поиска, Google подсказывает вам, какую страницу открыть в данный момент. Netflix предлагает вам очередной фильм. Навигатор выбирает для вас кратчайший путь. Все они упорядочивают колоссальное множество вероятных опций, производя вычислительный процесс. Deep Blue, в сущности, тоже занимался приоритизацией, то есть анализировал все возможные ходы фигур на доске и находил те, что гарантировали самые высокие шансы на победу.

2. Классификация – выбор категории

Когда мой возраст приблизился к тридцати годам, Facebook завалил меня рекламой колец с бриллиантами. И как только я наконец вышла замуж, отовсюду в интернете посыпались предложения тестов на беременность. Такими маленькими неудобствами я обязана алгоритмам классификации. Любимые алгоритмы рекламщиков, руководствуясь вашим личным профилем, исподтишка записывают вас в группу лиц с определенными интересами. (Пусть даже они угадывают верно, но если во время деловой встречи на экране вашего компьютера неожиданно всплывает реклама тестов на овуляцию, это действует на нервы.)

Именно такие алгоритмы автоматически отсортировывают и удаляют посторонние ролики на YouTube, подписывают ваши отпускные фотографии и, сканируя рукопись, идентифицируют закорючки на странице как буквы.

3. Ассоциирование – выявление связей

Ассоциирование – это поиск и описание взаимосвязи между объектами. Например, сайты знакомств, вроде OkCupid, ищут связи между пользователями и подбирают пары, используя алгоритмы поиска ассоциаций. Примерно так же устроена рекомендательная система Amazon – она находит нечто общее между вашими интересами и интересами предыдущих покупателей. Вот почему пользователь сайта Reddit с ником Kerbobotat, купив на Amazon бейсбольную биту, получил интересное предложение: “Возможно, вам понравится эта балаклава”[18].

4. Фильтрация – выделение важной информации

Алгоритмы нередко помогают изъять часть информации, чтобы обратить внимание на главное, поймать сигнал среди шумов. Иногда они делают это в буквальном смысле слова – так, в голосовых помощниках, например Siri, Alexa и Cortana, чтобы расшифровать вашу речь, алгоритмы распознавания, предварительно должны выделить из шумового фона ваш голос. Иногда это не шум как таковой, а метафора: Facebook и Twitter заполняют вашу ленту, уже зная, что вас обычно интересует, и подбирая соответствующую информацию.

Можно придумать огромное множество алгоритмов, совмещающих эти функции. Так устроен, например, сервис UberPool, который подбирает потенциальных попутчиков для совместных поездок на такси. Зная начальную и конечную точки маршрута, программа должна перебрать все возможные пути к вашему дому, найти других пользователей, которым надо ехать в ту же сторону, и определить вас в одну машину – и при этом в первую очередь предложить такие маршруты, чтобы водителю пришлось как можно меньше крутиться по улицам[19].

Алгоритмы все это умеют. Другой вопрос: как они это делают? Опять-таки мы можем выделить суть, хотя вариантов не счесть. В общем и целом все алгоритмы делятся на два основных типа в зависимости от принципа их работы, и далее в этой книге мы познакомимся с обоими.

1. Алгоритмы, основанные на системе правил

Работа алгоритмов первого типа основана на совокупности правил. Инструкции для них, четкие и недвусмысленные, составляет человек. Такой алгоритм подобен рецепту пирога. Шаг первый: сделать то-то. Шаг второй: если то, тогда это. Алгоритм вовсе не обязательно будет простым – есть масса возможностей для создания сложнейших программ такого типа.

2. Алгоритмы машинного обучения

Принцип действия алгоритмов другого типа сродни обучению живого существа. Для аналогии представьте себе, как можно было бы научить собаку давать лапу. Нет смысла проводить с ней подробный инструктаж. Вам как дрессировщику надо самому четко понимать, чего вы хотите добиться от собаки и как вы ее поощрите, когда она выполнит команду. Надо только закрепить правильную реакцию, игнорируя ошибочную, и дать собаке потренироваться, чтобы она сама выработала нужный рефлекс. В программировании такая схема называется алгоритмом машинного обучения и подпадает под более широкое понятие искусственного интеллекта, ИИ. Вы вводите в компьютер данные, ставите цель, обеспечиваете обратную связь, если алгоритм выбирает верный путь, – и предоставляете ему самостоятельно искать оптимальное решение.

Оба варианта имеют свои плюсы и минусы. Алгоритмы, основанные на системе правил, просты для восприятия, поскольку инструкции для них пишут люди. Теоретически кто угодно может прочитать правила и аккуратно выполнить все пункты по порядку[20]. Однако в этом преимуществе кроется их изъян. Основанные на системе правил алгоритмы решат задачу только в том случае, если люди знают, какую инструкцию для них написать.

Алгоритмы машинного обучения, как выяснилось в последнее время, напротив, отлично справляются и тогда, когда набор команд не помогает. Они могут распознать объект на картинке и слова, которые мы произносим, могут перевести текст на другой язык – сделать то, что алгоритмам с инструкциями не по зубам. Минус в том, что если предоставить машине самой искать решение, то, скорее всего, человек не поймет, каким путем она пришла к конечному результату. Даже для гениального программиста ее внутренняя логика может остаться тайной за семью – печатями.

Предположим, ставится задача распознать изображение. Не так давно группа исследователей из Японии продемонстрировала, как необычно, с точки зрения человека, видит вещи машина. Может быть, вам встречалась известная оптическая иллюзия, когда трудно с первого взгляда сказать, что вы видите – вазу или два лица (если нет, загляните в примечания, приведенные в конце книги)[21]. Вот вам аналогичный пример из мира компьютеров. Ученые показали, что достаточно изменить один пиксель переднего колеса на изображении, приведенном ниже, чтобы алгоритм машинного обучения передумал и увидел собаку там, где прежде видел автомобиль[22].

Кое-кто считает, что оставить алгоритм без четких инструкций – это прямой путь к катастрофе. Как же контролировать то, чего мы не понимаем? Что, если наделенная разумом машина превзойдет по интеллекту своих создателей? Можем ли мы быть уверены, что загадочный для нас ИИ, который нам не подчиняется, не превратится в нашего врага?

Все эти гипотезы заслуживают внимания, и о нависшей над нами угрозе апокалипсиса, который может устроить нам ИИ, написано уже немало книг. Простите, если обманула ваши ожидания, – моя книга о другом. Несмотря на то, что в последнее время ИИ стремительно развивается, “умным” его можно назвать лишь с большими ограничениями. Тому, с чем мы столкнулись, скорее подошло бы определение революции не в области интеллекта, а в вычислительной статистике. Я понимаю, что это не так возбуждает – если только вы не питаете особые чувства к статистике, – однако текущее положение вещей такая формулировка описывает гораздо точнее.

Пока что волноваться из-за злых козней ИИ – все равно что волноваться из-за перенаселения на Марсе[23]. Возможно, когда-нибудь компьютерный разум окажется сильнее человеческого, но пока об этом даже речи не идет. Честно говоря, нам еще довольно далеко до создания интеллекта хотя бы уровня ежиного. И червяка-то до сих пор никому не удалось превзойти[24].

Кроме того, вся эта шумиха из-за искусственного интеллекта отвлекает нас от куда более насущных и, по-моему, более интересных тем. Забудьте ненадолго о всемогущих умных машинах и верните свои мысли из далекого и неясного будущего в наше с вами настоящее, ибо алгоритмы, которым даны полная свобода действий и право самостоятельно принимать решения, уже существуют. Они назначают курс лечения онкологическим больным и сроки тюремного заключения, действуют в аварийной ситуации на дороге. Они уже на каждом шагу делают за нас роковой выбор.

Вопрос вот в чем: если мы делегируем алгоритмам такие полномочия, можно ли им доверять?

Слепая вера

Воскресенье 22 марта 2009 года было не самым удачным днем в жизни Роберта Джонса. Он возвращался из гостей и, когда он проезжал через живописный городок Тодморден в Уэст-Йоркшире, на панели его BMW включился индикатор бензобака. Он мог позволить себе проехать до ближайшей бензоколонки километров десять – что-то надо было срочно предпринять. К счастью, GPS-навигатор, по-видимому, нашел короткий путь – и направил Роберта по узкой, извилистой дороге, которая вела из долины наверх.

Роберт послушно следовал указаниям навигатора, однако чем дальше, тем более узкой становилась дорога и тем круче она забирала вверх. Через несколько километров шоссе превратилось в грунтовый проселок, едва ли пригодный даже для гужевого транспорта, не говоря уже об автомобиле. Впрочем, Роберта это не смущало. Он зарабатывал на жизнь, проезжая тысячи километров в неделю, и крутил баранку вполне уверенно. К тому же он думал: “С чего бы мне не доверять навигатору?”

Вскоре снизу, из долины, если задрать голову и посмотреть вверх, можно было увидеть торчащий над самой кромкой обрыва передок машины, не рухнувшей вниз с высоты в тридцать метров лишь благодаря хлипкому деревянному заборчику, в который Роберт въехал.

В итоге для того, чтобы эвакуировать автомобиль с того места, где его покинул водитель, понадобились три квадроцикла и трактор. Позднее, в том же году, представ перед судом по обвинению в опасном вождении, Роберт признался, что ему и в голову не пришло спорить с навигатором. “Он упорно называл этот проселок дорогой, – сказал он корреспонденту газеты после происшествия. – Ну я ему и поверил. Как-то не ждешь, что тебя чуть не сбросят с обрыва”[25][26].

Да, Роберт. Разумеется, этого ты не ждал.

В этой истории есть мораль. Наверное, тогда Джонс почувствовал себя довольно глупо, но, не поверив своим глазам (при виде отвесного склона за окном машины) и приписав компьютерной программе больше ума, чем она того заслуживает, он попал в достойную компанию. В конце концов, двенадцатью годами раньше в ту же самую западню угодил Гарри Каспаров. Да и все мы порой совершаем ту же ошибку, пусть и неосознанно, в не столь критичных, но не менее важных для нас ситуациях.

Еще в 2015 году ученые задались вопросом: почему иногда информационно-поисковые системы – например, Google – способны менять наши представления о мире[27]? Они решили выяснить, существуют ли разумные границы доверия результатам поиска или мы готовы, скажем так, беспечно шагнуть в пропасть по воле поисковика.

Эксперимент проводили на примере грядущих выборов в Индии. Исследователи во главе с психологом Робертом Эпштейном отобрали по всей стране 2150 добровольцев, которые еще не решили, за кого голосовать, и открыли им доступ к специально разработанной системе под названием Kadoodle, чтобы они могли побольше узнать о кандидатах, прежде чем сделать выбор.

Программа оказалась с подвохом. Ничего не подозревавших участников эксперимента разбили на группы, каждой из которых показывали слегка различающиеся результаты поиска, с уклоном в пользу того или иного кандидата. Когда какая-нибудь группа заходила на сайт, сначала выдавалась информация об определенном кандидате – то есть, для того чтобы увидеть хоть одну страницу, посвященную другому кандидату, надо было прокрутить ссылки одну за другой далеко вниз. В разных группах методично продвигали разных кандидатов.

Как нетрудно догадаться, участники эксперимента в основном читали материалы под верхними заголовками с первой страницы – как говорится в бородатом анекдоте из интернета, проще всего спрятать труп на второй странице результатов поиска в Google. Вряд ли кто-нибудь обратил внимание на самые нижние строки в перечне ссылок. Но даже сам Эпштейн поразился тому, в какой степени целенаправленный отбор информации повлиял на выбор добровольцев. Уже через несколько минут, проведенных на сайте, аж на 12 % больше респондентов, отвечая на вопрос, кому они отдали бы свой голос, выбирали ставленника системы Kadoodle.

В 2015 году, в интервью журналу Science, Эпштейн объяснил результаты эксперимента: “Мы ждем от поисковой системы разумного выбора. Люди рассуждают так: «Да, перекосы есть, это говорит о том, что… поисковик делает свое дело»”. При том огромном объеме информации, который мы черпаем из интернета, еще больше тревожит искренняя убежденность многих социально активных граждан в том, будто они высказывают собственное мнение. “Если люди не замечают, что ими манипулируют, им кажется, что свежие идеи пришли им в голову независимо ни от чего”, – написал Эпштейн в своей статье[28].

Безусловно, Kadoodle – не единственная программа, которой можно вменить в вину подспудное манипулирование политическим выбором людей. В главе “Персональные данные” мы еще вернемся к этой теме, а сейчас для нас важен следующий вывод из описанного эксперимента: мы полагаем, что в большинстве случаев алгоритмы оказываются правы. Мы уже согласны с тем, что их решение всегда приоритетно[29]. Еще чуть-чуть, и мы перестанем даже осознавать, насколько мы им доверяем.

Сплошь и рядом алгоритмы предоставляют нам удобный и авторитетный источник информации. Предлагают простой способ переложить свою ответственность на кого-то другого, и мы не задумываясь соглашаемся на кратчайшие пути. Кто станет каждый раз докапываться до дальних ссылок на второй странице в Google и критически осмысливать все предложения поисковика? Кто станет шарить по сайтам всех авиакомпаний, чтобы посмотреть, действительно ли Skyscanner нашел самые дешевые варианты? Или, вооружившись линейкой и картой, проверять, нет ли еще более короткой дороги, чем выбирает GPS? Уж точно не я.

Однако надо понимать, где проходит грань. Потому что одно дело – доверять программе, которая обычно нас не подводит. Совсем другое – довериться той, про которую мало что толком известно.

Искусственный интеллект против естественной глупости

В 2012 году, в штате Айдахо, некоторым инвалидам сообщили, что их исключили из программы бесплатного медицинского обслуживания[30]. Несмотря на то, что все они имели право на льготы, власти без предупреждения сократили их пособие на 30 %[31], и инвалидам пришлось самим изыскивать средства на оплату услуг по уходу. Это было вовсе не политическое решение, а результат применения нового “инструмента бюджетного регулирования”, взятого на вооружение Министерством здравоохранения и социальной помощи штата Айдахо – компьютерной программы для автоматического расчета пособий для каждого отдельно взятого гражданина[32].

Однако рекомендации программы выглядели довольно нелогично. Человеку непосвященному показалось бы, что цифры взяты с потолка. Одним дали больше денег, чем в предыдущие годы, а другим урезали пособия на десятки тысяч долларов, и для того чтобы платить за обслуживание в лечебных учреждениях, кому-то, возможно, пришлось бы продать свой дом[33].

Люди не могли взять в толк, почему им сократили пособия и как справиться с новыми трудностями, поэтому обратились за помощью в Американский союз защиты гражданских свобод (ACLU). В 2017 году ситуацию прокомментировал в своем блоге директор по юридическим вопросам отделения в Айдахо Ричард Эппинк: “Я тогда подумал, мы просто попросим штат объяснить, почему вдруг так сильно уменьшились суммы выплат”[34]. В действительности же для выяснения причин произошедшего потребовалось четыре года, четыре тысячи жалоб и групповой иск о возмещении ущерба[35].

Для начала Эппинк и его помощники попробовали разобраться в том, как именно работает алгоритм, однако люди, отвечавшие за программу медицинской помощи нуждающимся “Медикейд”, отказались пояснить расчеты. Они сослались на “коммерческую тайну” и запрет на открытый доступ к использованному программному обеспечению[36]. К счастью, судью, который вел дело, такая мотивировка не устроила. Инструмент бюджетного регулирования, оказавший столь сильное влияние на жизнь простых американцев, был предъявлен и оказался вовсе не высокоразвитым ИИ и не искусно оформленной математической моделью, а банальной таблицей в формате Excel[37].

По-видимому, расчеты были выполнены на основе архивных данных, но из-за чудовищного количества ошибок и программных сбоев эти базы данных большей частью потеряли всякий смысл[38]. Хуже того, когда сотрудники ACLU тщательно проанализировали уравнения, выяснилось, что “способ составления самих формул содержал принципиальные статистические ошибки”. Инструмент бюджетного регулирования исправно выдавал непредсказуемые результаты для огромного множества людей. Алгоритм – если он вообще заслуживал такого названия – оказался настолько негодным, что суд признал его противоречащим Конституции[39].

Тут надо выделить две линии неверных действий человека. Во-первых, кто-то заполнил эту бессмысленную таблицу, а во-вторых, кто-то другой наивно поверил в истинность данных. В сущности, “программа” выражала собой закодированный непрофессионализм. Но почему же люди, которые работали на государство, так рьяно защищали откровенно плохой продукт?

Вот что думает по этому поводу Эппинк:

Такая тенденция прослеживается всегда, когда дело касается результатов, полученных с помощью компьютера, – мы не подвергаем их сомнению. Если компьютер что-то рассчитывает – если есть статистик, который выводит некую формулу на основе неких данных, – мы просто верим его формуле и не спрашиваем: мол, погодите-ка, как это все работает?[40]

Я отлично понимаю, что не все любят на досуге возиться с математическими формулами, вникая в их суть, – хотя я обожаю это занятие. Но, тем не менее, Эппинк поднимает вопрос первостепенной важности – о нашей готовности принимать выводы компьютера за чистую монету, не вникая в его тайную жизнь.

Я математик, и за годы работы с данными и программами я пришла к убеждению, что существует единственный путь объективно оценить надежность алгоритма – докопаться до принципиальных основ его работы. Мой опыт говорит, что алгоритмы во многом схожи с фокусами иллюзионистов. Сперва они и впрямь кажутся непостижимыми, но когда понимаешь, как это сделано, чары рассеиваются. Нередко за внешней сложностью скрывается что-то до смешного примитивное – или настораживающе легкомысленное. В следующих главах я постараюсь дать вам представление о невидимых глазу особенностях алгоритмов, которые мы будем обсуждать. Пусть этих знаний будет маловато для того, чтобы самостоятельно произвести расчеты, но для понимания процесса – достаточно.

Однако даже самые въедливые математики порой вынуждены верить алгоритму “на слово”. Например, потому что проверка его деятельности практически невыполнима, как в случае со Skyscanner и поисковиком Google. Или программа может оказаться “засекреченной”, как алгоритм бюджетного регулирования в Айдахо и кое-какие другие программы, которые нам встретятся. Бывает и так, что попросту невозможно проследить логические связки в алгоритме – например, в некоторых системах машинного обучения.

Иногда мы будем вынуждены передавать управление “незнакомцу”, даже зная, что алгоритм может ошибиться. Нам придется сопоставлять собственное мнение с мнением машины. И если мы решим, что следует доверять не расчетам, а нашей интуиции, нам понадобится отвага, чтобы настоять на своем.

Когда нельзя уступать

Офицер Советской армии Станислав Петров отвечал за мониторинг системы предупреждения о ракетном нападении, которая охраняла воздушное пространство СССР. В том случае, если компьютер укажет на какие-либо признаки атаки со стороны США, Петров обязан был незамедлительно доложить командованию[41].

26 сентября 1983 года он заступил на дежурство, и вскоре после полуночи взвыли сирены. Одна только мысль о таком сигнале тревоги наводила ужас: советские спутники засекли вражескую ракету, направлявшуюся к территории СССР. Холодная война была в разгаре, поэтому удар казался вполне вероятным, однако что-то заставило Петрова повременить с докладом. Он не был уверен в безусловной правоте алгоритма. Компьютер зафиксировал всего лишь пять запусков – в столь нерешительных действиях США не было никакой логики[42].

Петров замер в своем рабочем кресле. От него зависело, рапортовать о нападении и почти наверняка развязать мировую ядерную войну, или нарушить протокол и выждать, хотя он понимал, что с каждой секундой у руководства его страны остается все меньше времени на ответный удар.

Нам страшно повезло, потому что Петров выбрал второй вариант. Он не мог знать наверняка, что сигнал тревоги прозвучал по ошибке, но через двадцать три минуты (должно быть, они показались ему целой вечностью), когда стало ясно, что на советскую землю не упала ни одна боеголовка, он наконец убедился в своей правоте. Программа дала сбой.

Если бы система работала абсолютно автономно, не имея над собой такого контролера, как Станислав Петров, мировая история пошла бы совсем по другому сценарию. Надо думать, Москва отреагировала бы адекватно (как она полагала бы), и началась бы полномасштабная ядерная война. Из этого эпизода мы должны вывести мораль: в таких процессах ключевую роль играет человеческий фактор; избежать ошибки можно только тогда, когда человек видит указания алгоритма и может наложить вето раньше, чем будет принято решение.

Ведь только люди способны ощутить на себе весь груз ответственности за свои действия. Имей программа прямую связь с Кремлем, она ни на миг не задумалась бы о последствиях своего решения. А что же Петров? “Я понимал отлично, что меня никто не поправит”[43].

Одна беда: на человека тоже не всегда можно положиться. Иногда люди берут власть в свои руки и правильно делают – как это сделал Станислав Петров. Но зачастую внутреннее чувство лучше подавить.

Вот вам еще один пример на тему безопасности – слава богу, в этой сфере люди редко меняют решения компьютеров, не имея оснований, и все же именно это произошло в самом большом английском парке аттракционов Alton Towers, перед той памятной страшной аварией на горках Smiler[44].

В июле 2015 года двум инженерам поручили исправить неполадку в механизме аттракциона. Они устранили неисправность и для проверки запустили по трассе пустую вагонетку – но не обратили внимания на то, что она не вернулась назад. Почему-то она снова скатилась вниз на подъеме и застряла на полпути.

Тем временем операторы, обслуживающие посетителей, вывели дополнительную вагонетку, чтобы сократить растущую очередь, но об этом инженеры тоже не знали. Получив из операторской разрешение на пуск, сотрудники разрешили довольным пассажирам занять места, закрыли рамы безопасности и отправили первый состав по рельсам, ничего не зная о застрявшей прямо на пути вагонетке, которую ранее запустили инженеры.

По счастью, проектировщики аттракциона предусмотрели такие ситуации, и системы безопасности сработали в штатном режиме. Чтобы не произошло неминуемого столкновения, поезд остановился на вершине первого подъема, а в операционную был подан сигнал тревоги. Однако инженеры, уверенные в том, что они все починили, подумали, что автоматическая система тревоги включилась по ошибке.

Не так-то просто было переупрямить программу – чтобы вновь запустить состав, два человека должны были одновременно нажать кнопки. Они произвели необходимые действия, и полностью загруженная вагонетка покатилась вниз, прямо к другой, стоявшей на ее пути. Столкновение было кошмарным. Несколько человек получили тяжелейшие травмы, а двум совсем юным девушкам пришлось ампутировать ноги.

И трагическое происшествие в парке Alton Towers, и поступок Станислава Петрова, когда речь шла о жизни и смерти, показывают нам всю глубину проблемы выбора. За кем – или за чем – должно оставаться последнее слово в споре о власти между человеком и машиной?[45]

Борьба за власть

Этот спор начался не сегодня и не вчера. В 1954 году профессор клинической психологии Миннесотского университета Пол Мил опубликовал работу под названием “Клинический и статистический прогнозы” и, решительно заняв крайнюю позицию, взбудоражил целое поколение людей.

В этой книге Мил провел систематическое сравнение деятельности людей и машин на примерах прогнозирования всего на свете, от успеваемости учеников до психического состояния пациентов, и пришел к выводу, что математические модели, независимо от уровня их сложности, почти наверняка дадут более точный ответ, чем люди.

С тех пор, в течение полувека, открытия Мила подтвердились множеством других исследований. Если от вас требуется рассчитать неважно что – медицинский прогноз или возможные объемы продаж, количество попыток самоубийств или степень удовлетворенности карьерным ростом – или дать оценку чему угодно, от годности к военной службе до перспектив выполнения учебного плана, смело ставьте на алгоритм[46][47]. Машина тоже немного промахнется, но если позволить человеку отвергать ее решения, ошибки будут еще более грубыми.[48]

Наверное, в этом нет ничего удивительного. Мы не созданы для вычислений. Мы не предполагаем, что в супермаркете отряд кассиров примется разглядывать наши покупки, пытаясь определить их стоимость. Мы позволяем простейшей программе сосчитать все за нас. И в большинстве случаев мы только выиграем, если предоставим это машине. Как шутят летчики, лучший экипаж состоит из троих членов – пилота, компьютера и собаки. Компьютер управляет самолетом, пилот кормит собаку, а собака кусает пилота, если тот попробует прикоснуться к компьютеру.

Но отношения с машинами у нас немного странные. Мы доверчивы как дети, если ничего не понимаем, и в то же время у нас есть отвратительная привычка вмешиваться в работу машины и даже полностью игнорировать ее и полагаться на собственные неверные суждения, если нам известно, что она может ошибиться. Специалисты называют это неприятием алгоритмов. К ошибкам машин люди относятся менее снисходительно, чем к своим, даже если их собственные ошибки гораздо страшнее.

Это явление не раз воспроизводилось в разных экспериментах[49], да вы и сами заметите у себя такое же свойство. Когда приложение в телефоне утверждает, что дорога займет больше времени, чем мне кажется, я уверена, что знаю лучше – хотя, скорее всего, рискую опоздать. Все мы хоть раз да обозвали своего голосового помощника идиотом, почему-то забывая в этот момент, что устройство, которое мы держим в руке, создано благодаря фантастическому развитию современных технологий. И поначалу, маясь в пробках под руководством пока еще нового для меня навигационного приложения Waze, я не раз убеждала сама себя, что окольный путь был бы короче указанного маршрута – и почти всегда была неправа. Сейчас я пришла к выводу, что навигатору надо верить и, подобно Роберту Джонсу с его BMW, послушно поворачиваю, куда велит GPS, – но, думаю, я бы все-таки пресекла попытку загнать меня на край обрыва.

Категоричность в эпоху высоких технологий (либо алгоритмы всемогущи, либо абсолютно бесполезны) может привести к нежелательным последствиям. Если мы хотим использовать технику с наибольшей отдачей, нам придется выработать привычку к объективности. Мы должны учесть ошибку Гарри Каспарова и признать свои слабости, научиться контролировать свои спонтанные реакции и более осознанно относиться к программам, с которыми мы имеем дело. С другой стороны, нельзя смотреть на программы снизу вверх, надо анализировать их чуть более придирчиво и задумываться о том, справятся ли они с поставленной задачей. Только так можно понять, заслуживают ли они той власти, которую им дали.

К сожалению, все это легче сказать, чем сделать. Зачастую мы почти не в силах повлиять на могущество и радиус действия даже тех алгоритмов, которые непосредственно затрагивают нашу жизнь.

Особенно это касается тех программ, что оперируют самым главным в наше время товаром – данными. Повсюду в интернете нас преследуют безмолвные алгоритмы – они собирают информацию о нас, вторгаются в наше личное пространство, составляют на нас характеристики, – и ничто не мешает им незаметно влиять на наше поведение. Последствия гремучей смеси из неправомочно присвоенной власти, влияния и необоснованного доверия могут коренным образом изменить все наше общество.

Персональные данные

В 2004 году, вскоре после того, как Марк Цукерберг создал Facebook, между ним и его другом произошел такой обмен сообщениями:

Цук: так что если тебе понадобится инфа о ком-нибудь в Гарварде

Цук: только скажи

Цук: у меня больше 4000 имейлов с фотками и адресами (…)

[Имя друга скрыто]: что? откуда ты все это взял?

Цук: сами дали

Цук: не знаю, зачем

Цук: “доверяют мне”

Цук: дебилы[50]

В свете связанного с Facebook скандала 2018 года журналисты не раз цитировали эти реплики, намекая на макиавеллиевский подход компании к принципам конфиденциальности личных данных. Лично я думаю, что хвастливые комментарии девятнадцатилетнего парня не стоит воспринимать чересчур серьезно. Но также я думаю, что Цукерберг ошибался. Люди рассказывали ему о себе не просто так. Это был обмен. За свои анкетные данные они получали доступ к программе, которая позволяла им легко и быстро переписываться с друзьями и родственниками, их объединяло общее жизненное пространство. Это была их личная сеть на бескрайних просторах Всемирной – паутины. Не знаю, как вы, а я тогда была уверена, что это честная сделка.

В этой логике есть одно “но”: мы не всегда отдаем себе отчет в том, к чему в долгосрочной перспективе может привести такой обмен. Далеко не всегда очевидно, что дает информация о нас, иначе говоря, насколько она ценна как исходный материал для умной программы. Или наоборот – насколько дешево нас купили.

Всякое лыко в строку

Одними из первых важность личных данных оценили супермаркеты. В том секторе, где компании неустанно борются за внимание клиентов – за крохотные зоны предпочтений, благодаря которым покупатели становятся более лояльными к бренду, – любое самое незначительное усовершенствование дает колоссальные преимущества. Движимый именно этим мотивом, британский ретейлер Tesco в 1993 году предпринял грандиозный эксперимент.

Розничная сеть Tesco ввела в обращение новую клубную карту – пластиковую карточку наподобие кредитной, которую покупатели должны были предъявлять при оплате товаров в кассе; программу запустили в нескольких магазинах сети, руководили проектом супруги и партнеры по бизнесу Эдвина Данн и Клайв Хамби. Договор был очень простой: при каждой покупке с использованием клубной карты клиент накапливал баллы и в будущем мог использовать их для других приобретений, а магазин вел учет покупок, записывая их на имя данного покупателя[51].

В первом эксперименте с клубными картами информация собиралась довольно скупая. Помимо имени и адреса клиента в системе фиксировались только даты и суммы чеков без наименований попавших в корзину товаров. И тем не менее даже из столь скромных результатов Данн и Хамби извлекли чрезвычайно ценные сведения.

Они выяснили, что львиную долю продаж обеспечивает небольшая группа постоянных покупателей. Данн и Хамби просмотрели почтовые индексы и увидели, как далеко люди готовы ехать в магазин. Они вычислили благоприятные с точки зрения конкуренции округа и те районы, где Tesco – безусловный лидер. Собранная информация показала, кто заходит в магазин ежедневно, а кто откладывает покупки на выходные. Вооружившись этими знаниями, аналитики принялись за дело – начали рассылать держателям клубных карт купоны по почте, дабы подогреть их покупательский азарт. Те, кто тратил больше всех денег, получили купоны на сумму от 3 до 30 фунтов. Более экономных поощрили не так щедро – на 1–10 фунтов. Эффект превзошел все ожидания. Покупатели реализовали почти 70 % купонов, а оказавшись в магазине, наполнили свои корзинки с верхом – обладатели клубных карт в целом потратили на 4 % больше денег, чем те, у кого карт не было.

22 ноября 1994 года Клайв Хамби представил результаты эксперимента совету директоров Tesco. Он предъявил собранные данные, показатели отклика и роста продаж, а также факты, которые говорили об удовлетворенности клиентов. Руководство компании слушало его в полной тишине. Когда презентация закончилась, первым молчание нарушил глава совета директоров. “За три месяца вы узнали о моих клиентах больше, чем я за тридцать лет, вот что меня тревожит”, – сказал он[52].

Всем покупателям в Tesco выдали по карте, сама же компания опередила своего извечного соперника Sainsbury’s и стала крупнейшей розничной сетью в Великобритании – и все благодаря клубной карте. Со временем начали собирать более детализированные данные, и направлять покупательское поведение в нужное русло стало еще проще.

С первых дней торговли в интернете магазин предложил опцию “Любимый товар” – если клиент заходил на сайт Tesco, в первую очередь ему предлагали то, что он уже покупал с использованием клубной карты. Как и сама карта, опция имела головокружительный успех. Можно было моментально найти нужные продукты и не блуждать по страницам сайта. Продажи пошли вверх, покупатели были счастливы.

Впрочем, не все. Довольно скоро после внедрения этой опции в Tesco одна дама пожаловалась в Tesco на ошибки в ее данных. Она хотела что-то купить в интернет-магазине и обнаружила среди своих “любимых товаров” презервативы. Ее муж ими не пользуется, объяснила она, поэтому вряд ли их заказывал. Аналитики Tesco проверили информацию по ее просьбе и не нашли погрешностей в перечне ее покупок. Но предпочли не инициировать семейный скандал и приняли дипломатическое решение – извинились за “ошибку в данных” и вычеркнули оскорбительный артикул из списка ее любимых товаров.

Как отметил Клайв Хамби в книге о Tesco, для компании это стало неписаным правилом. Если появляются какие-нибудь излишне откровенные сведения, компания удаляет их и приносит извинения. Примерно это имел в виду Эрик Шмидт, который в бытность свою главным исполнительным директором Google сказал, что старается соотносить данные с воображаемой “зловещей чертой”: “Google придерживается такой политики, чтобы приближаться вплотную к зловещей черте, но не перешагивать ее”[53].

Но раздобудьте побольше данных – и кто знает, какие тайны вам откроются. Вы же потребляете не только продукты. Это очень личное. Проанализируйте покупательские привычки любого человека, и, скорее всего, узнаете о нем массу интересного. Иногда такое, что вы предпочли бы не знать – например, как в случае с презервативами. Но почти наверняка компания сумеет использовать себе во благо замаскированные в потоке данных мельчайшие обрывки ценной информации.

Целевая аудитория

В 2002 году один из крупнейших американских магазинов-дискаунтеров Target начал выискивать в своих базах какие-то особенности, выбивающиеся из общей картины[54]. Target продает все на свете, от молока и бананов до мягких игрушек и садовой мебели, и подобно большинству розничных сетей в XXI веке стал изучать спрос, для чего разработал методики, позволявшие по результатам анкетирования и номерам банковских карт увидеть, как связаны профили покупателей с их покупками.

Американцам не надо пересказывать эту историю, прогремевшую на всю страну. В Target заметили: если женщины начинают загружать в свои корзины больше косметики без отдушек, то вскоре многие из них подписываются на специальную услугу, чтобы намекнуть родным и друзьям, каких подарков они ждут к рождению ребенка. База данных давала сигнал. Во втором триместре беременности дамы уже беспокоились, как бы не появились растяжки, и покупка увлажняющих и смягчающих средств для тела намекала на грядущие события. Достаточно было еще немного открутить список покупок назад, чтобы увидеть, что те же самые покупательницы заходили в Target за всякими витаминами и пищевыми добавками, например, содержащими кальций и цинк. Более поздние по времени данные даже позволяли предположить примерный срок родов – по закупкам больших упаковок ваты[55].

Будущие мамочки – мечта ретейлера. Заручитесь доверием беременной женщины, и велик шанс, что она будет регулярно посещать ваш магазин еще долго после рождения ребенка. Ведь когда вы пополняете запасы на неделю с орущим голодным ребенком на руках, ваше покупательское поведение формируется очень быстро. Важность такого анализа информации трудно переоценить – возможно, именно благодаря ему сеть Target получила фору в привлечении клиентов по сравнению с другими брендами.

Все пошло как по маслу. Target запустила алгоритм, который оценивал вероятность беременности покупательниц. Если эта вероятность достигала определенного значения, магазин автоматически высылал выбранной даме купоны на приобретение всякой полезной всячины – подгузников, лосьонов, детских влажных салфеток и еще много чего.

До поры до времени проблем не возникало. Но где-то через год после запуска программы в офис магазина в Миннеаполисе ворвался разъяренный отец несовершеннолетней девушки и потребовал провести его к администратору. Его дочь получила по почте скидочные купоны на товары для беременных, и он пришел в бешенство, решив, что в Target, судя по всему, подростковая беременность считается нормой. Администратор магазина рассыпался в извинениях, а через несколько дней позвонил домой этому господину, чтобы еще раз от имени компании попросить прощения за инцидент. Но после, как писала The New York Times, отец сам был вынужден принести извинения.

– Я поговорил с дочкой, – сказал он администратору. – Оказывается, я не все знал о том, что происходит в моем доме. В августе она родит.

Не знаю, как вы, а я полагаю, что алгоритм, который сообщает родителям о беременности их дочери раньше, чем у них появится шанс узнать об этом самим, заходит далеко за зловещую черту. Однако эта неприятность не заставила Target забраковать программу в целом. “Мы выяснили: покупательница пользуется купонами до тех пор, пока не почувствует слежки за собой. Она просто думает, что всем в ее квартале приходят на электронную почту точно такие же предложения пеленок-распашонок. Если мы не спугнем ее, система будет работать”.

Таким образом, Target, как и большинство современных розничных сетей, все же развивает деятельность по прогнозированию беременности покупательниц, не афишируя этого. Единственное отличие в том, что купоны на товары, которые могут заинтересовать женщину в положении, рассылают вперемешку с другими, общего назначения, так чтобы покупательницы не заметили, что они находятся под прицелом. Детские кроватки в рекламе компенсируются бокалами для вина. А скидку на одежду для младенцев могут дополнить рекламой одеколона.

Подобные методы используются не только в Target. Истории из ваших персональных данных редко попадают в прессу, но алгоритмы всегда начеку, притаились за спинами контактного персонала корпораций. Около года назад мне довелось побеседовать с директором по обработке и анализу данных одной страховой компании. Из программы лояльности супермаркета его сотрудники узнали о покупательских привычках людей все до мельчайших подробностей. Они проанализировали информацию и поняли, что любители повозиться на своей домашней кухне с меньшей вероятностью обратятся за выплатой по страховке жилья, то есть с ними работать выгоднее. Интуитивно это можно понять. Наверное, у тех, кому не жаль времени, сил и денег на трудоемкие кулинарные изыски, мало общего с теми, кто разрешает детям играть дома в футбол. Но как страховщики узнали, кто из клиентов магазина любит готовить? Очень просто – кое-какие товары в корзине говорили о низкой вероятности страхового случая. Лучшим индикатором, поведал мне мой собеседник, выдающим в вас человека ответственного и хозяйственного, оказался свежий фенхель.

Если по покупательскому поведению людей в реальной жизни можно узнать такие подробности, то подумайте только, какие секреты вам открылись бы, имей вы доступ к более обширным данным. Представьте себе, сколько интересного вы бы выяснили о человеке, если бы у вас была вся история его похождений в интернете.

Дикий Запад

Palantir Technologies – один из самых успешных стартапов в Кремниевой долине. Его основал в 2003 году Питер Тиль, известный по PayPal, и согласно последним оценкам компания стоит ни много ни мало 20 миллиардов долларов[56]. Сумма, сравнимая с рыночной стоимостью Twitter, хотя, возможно, вы ничего не слышали об этой фирме. Но, можете мне поверить, Palantir наверняка слышал о вас.

Это представитель нового поколения компаний, так называемых брокеров данных, которые покупают и накапливают информацию о людях, а затем перепродают ее или делятся ею с выгодой для себя. Их множество: Acxiom, Corelogic, Datalogix, eBureau – целая когорта крупных фирм; вероятно, вы лично никогда с ними не сталкивались, но, тем не менее, они непрерывно мониторят и анализируют вашу повседневную жизнь[57].

Когда вы совершаете покупки в интернет-магазине, подписываетесь на рассылки, регистрируетесь на разных сайтах, пытаетесь что-то разузнать о новой машине, заполняете гарантийный талон, приобретаете новый дом или пытаетесь проголосовать онлайн, – когда вы раскрываете хоть какие-то сведения о себе, все до крупицы фиксируется и продается брокеру данных. Помните, как вы объясняли риелтору, какой дом или какую квартиру вы ищете? Продано брокеру данных. Вы вводили какие-то данные на сайте сравнения страховок? Проданы брокеру данных. Бывает, что вся ваша история просмотров в браузере продается оптом[58].

Брокер должен собрать всю информацию воедино, связать перекрестными ссылками разрозненные фрагменты присвоенных данных и создать детализированный файл – профиль вашей цифровой тени. Иногда такие базы данных позволяют вам в самом прямом смысле слова открыть файл под вашим индивидуальным кодом (вы никогда его не узнаете) и обнаружить там полный набор сведений о вашей жизни. Имя, дату рождения, рост, вес и религиозную принадлежность, как вы предпочитаете отдыхать, как пользуетесь кредитной картой, сколько у вас накоплений, каких политических взглядов вы придерживаетесь, как ведете себя на бирже или в казино, чем болеете и как лечитесь, прерывали ли беременность, разведены ли ваши родители, есть ли у вас вредные привычки, подвергались ли вы насилию, что вы думаете о праве на ношение оружия, какова ваша подлинная сексуальная ориентация, а какую вы демонстрируете и легко ли вас обмануть. Тысячи и тысячи интимных подробностей буквально о каждом из нас хранятся где-то на секретных серверах в тысячах и тысячах рубрик и файлов[59].

Как и предположения, которые были сделаны в Target о беременности покупательниц, многие из этих данных логически выводимы. Подписка на журнал Wired говорит о вашем интересе к технике, а лицензия на ношение оружия – о том, что, возможно, вы увлекаетесь охотой. Брокеры постоянно обновляют базы данных, используя умные, но простые программы. То же самое, что делают супермаркеты, только в более крупном масштабе.

Здесь открывается масса преимуществ. Зная, кто мы есть, брокеры данных не позволят мошенникам выдать себя за покупателей, которые ни сном ни духом не ведают о подлоге. С тем же успехом осведомленность о наших симпатиях и антипатиях позволяет подбирать для нас рекламу, когда мы гуляем в интернете, согласно нашим нуждам и пристрастиям. Все-таки это гораздо приятнее, чем день за днем видеть набившие оскомину объявления о страховании вкладов и услуг юристов. Кроме того, сообщения поступают непосредственно к тем, кого они могут заинтересовать, то есть снижаются общие затраты на рекламу, и мелкие производители качественной продукции могут привлечь больше клиентов, от чего выигрывают все.

Впрочем – наверняка вы уже об этом подумали, – как только нас, живых людей, начинают распределять по группам и классам, возникает целый ряд проблем. Я скоро к этому вернусь, но сначала хочу вкратце рассказать о том, какие скрытые процессы обеспечивают показ рекламы, когда вы кликаете на ссылку в интернете, и о роли брокеров данных в этих процессах.

Итак, допустим, я владелица туристической компании люксового сегмента, назовем ее Fry’s. Много лет посетители моего сайта должны были оставлять информацию о своих запросах, и у меня сохранились их электронные адреса. Если я хочу узнать своих клиентов поближе – например, отдых какого типа их привлекает, – можно отправить список их электронных адресов брокеру данных, он поищет их имена в своей системе и вернет мне файл с представляющими для меня интерес сведениями. Как будто просто добавили в таблицу еще один столбец. Теперь, когда вы вновь посетите сайт компании Fry’s, я уже буду знать, что вы питаете слабость к тропическим островам, и предложу вам слетать на Гавайи.

Это первый вариант. Рассмотрим второй: представим себе, что на сайте Fry’s осталось немножко свободного места – неплохо было бы продать его другим рекламодателям. Я опять обращаюсь к брокеру данных с информацией о моих клиентах. Брокер ищет другие фирмы, которые хотят разместить свою рекламу. Для определенности пусть это будет фирма, торгующая солнцезащитными кремами. Брокер может убедить ее, что клиенты Fry’s могут быть интересны продавцу средств от загара, а для этого выдаст вторичную информацию о них – скажем, сколько среди них рыжеволосых людей. А может, продавец солнцезащитного крема передаст ему свой список электронных адресов покупателей, и брокер данных точно подсчитает, какова область пересечения двух целевых аудиторий. Если продавца крема удастся уговорить, его реклама появится на сайте Fry’s – и мы с брокером получим свой доход.

Пока что все эти методы практически не выходят за рамки обычной работы маркетологов с целевой аудиторией. Но есть еще третий вариант, как мне кажется, уже не такой невинный. На этот раз Fry’s ищет новых клиентов. Меня интересуют мужчины и женщины старше шестидесяти пяти лет, которые любят тропические острова и располагают крупной суммой свободных денег; я надеюсь, что они захотят отправиться в роскошный круиз по Карибскому морю. Я бросаюсь за помощью к брокеру данных, чтобы он прочесал свои базы и нашел мне тех, кто подходит под мой запрос.

Теперь представьте себе, что в этом списке есть и вы. Фирме Fry’s брокер ваше имя не откроет. Но ведь он выходит и на другие сайты, которые вы регулярно посещаете. Вполне возможно, что брокер установил контакт с одним из ваших любимых ресурсов. Это может быть социальная сеть, новостной сайт или еще что-нибудь. Стоит вам беспечно открыть знакомую страницу, и брокер получит сигнал о том, что вы на месте. Он отреагирует мгновенно, а именно присвоит вашему компьютеру метку – файл cookie. По этим меткам все остальные сайты в интернете узнают, что вы – тот самый клиент, которому надо направить рекламу карибского круиза компании Fry’s[60]. Рекламные баннеры настигнут вас повсюду в сети, хотите вы того или нет.

Вот тут мы сталкиваемся с первой проблемой. Что, если вы не хотите видеть рекламу? В самом деле, бесконечные океанские лайнеры и острова, мягко говоря, немного действуют на нервы, но иногда реклама влияет на жизнь гораздо сильнее.

Когда у Хейди Уотерхаус прервалась желанная беременность, она отписалась от всех еженедельных рассылок, оповещавших ее о развитии ребенка на сегодняшний день и о том, до размеров какого фрукта дорос плод. Она вычеркнула себя из всех списков и листов пожеланий, в которых зарегистрировалась в ожидании родов. Однако, как Хейди сообщила разработчикам программного обеспечения на конференции в 2018 году, ей так и не удалось отписаться от рекламы для беременных, преследовавшей ее по всему интернету. Ее беременность существовала в цифровом виде сама по себе, без матери и ребенка. “Никто из разработчиков этой системы не подумал о возможных последствиях”, – сказала Хейди.

То ли по чьему-то недомыслию, то ли по замыслу система оказалась весьма полезной для всякого рода эксплуататоров. С ее помощью фирмы, в которых можно перехватить денег до получки, выходят на людей с плохой кредитной историей, а букмекеры предлагают завсегдатаям сайтов азартных игр делать ставки. Надо учитывать также, что профили данных можно использовать во вред их обладателям – например, тех, кто интересуется мотоциклами, можно записать в группу риска, а любителей сладостей без добавления сахара – в диабетики, и на этом основании отказать им всем в страховке. Как показало проведенное в 2015 году исследование, женщинам, которые просматривают сайты в интернете, Google показывает рекламу с предложениями высокооплачиваемой руководящей работы гораздо реже, чем мужчинам[61][62]. Однажды профессор Гарвардского университета, афроамериканка, обнаружила, что в ответ на ввод ее имени в поисковую строку Google всплывают рекламные ссылки, адресованные людям с криминальным прошлым (вследствие чего ей приходилось доказывать потенциальным работодателям, что у нее никогда не было конфликтов с полицией), и она принялась изучать рекламу, адресованную различным этническим группам. Оказалось, что рекламные объявления, включающие фразы со словом “арест” (вроде “вы подвергались аресту?”), намного чаще появляются после поисковых запросов с именами, распространенными среди афроамериканцев, чем с именами, характерными для белых[63].

В использовании подобных методов можно обвинить не только брокеров данных. Google, Facebook, Instagram и Twitter работают примерно так же. Интернет-гиганты не берут плату со своих пользователей – их бизнес-модели построены на концепции микротаргетирования. Эти колоссальные механизмы для доставки рекламы делают деньги на активных реакциях миллионов пользователей: переходах по ссылкам, просмотрах продвигаемых постов, видеороликов и фотографий. Куда бы вы ни забрели во Всемирной паутине, притаившиеся в ее ячейках алгоритмы извлекают выгоду из той информации, которую вы, будь ваша воля, никогда бы им не предоставили, и вам даже невдомек, что они ею располагают. Они обращают в товар ваши самые личные и сокровенные тайны.

К сожалению, во многих странах закон плоховато вас защищает. Деятельность брокеров данных, как правило, никак не регулируется, и власти упорно игнорируют любые возможности хотя бы немного умерить их влияние, особенно в Америке. Так, в марте 2017 года Сенат США проголосовал за отмену правил, которые не позволяли брокерам данных продавать истории поиска в браузере без вашего на то прямого согласия. Раньше, в октябре 2016 года, эти правила были утверждены Федеральной комиссией по связи, но, после того как в конце года произошли перемены в правительстве, республиканское большинство в комиссии и конгрессмены-республиканцы оспорили это решение[64].

Как все это может отразиться на вашей частной жизни? Что ж, позвольте, я расскажу вам об исследовании, которое провели немецкая журналистка Свеа Экерт и аналитик данных Андреас-Девес[65].

Экерт со своими помощниками открыла фальшивую компанию, торгующую информацией, и через нее купила анонимные истории поиска в браузерах трех миллионов граждан Германии. (Заполучить истории действий людей в интернете было не так уж сложно. Многие компании предлагают огромные массивы данных такого рода о пользователях в Великобритании и США – только материалы для Германии пришлось добывать с некоторым трудом.) Не подозревая о слежке, люди добровольно загружали плагин для браузера Google Chrome, и тот собирал данные[66].

В итоге получился гигантский список веб-адресов. Было зафиксировано все, чем интересовались эти люди в течение месяца. Каждый запрос, каждая страница, каждый клик. Все данные выставлены на продажу без нарушения закона.

Экерт и ее сотрудникам мешала лишь анонимность данных. Тех, чьи истории поиска в браузере поступили в продажу, это не может не радовать. Вы согласны? Надо бы пощадить их чувства. Не тут-то было. Как сообщили исследователи на международной конференции хакеров DEFCON в 2017 году, разобрать по именам огромные базы данных не составило труда.

Вот как это делалось. Некоторые имена людей были извлечены просто из адресов страниц. Например, пользователей Xing, немецкого аналога сети LinkedIn. Если кликнуть на фото профиля на Xing, вас перенаправят на страницу с адресом вида

www.xing.com/profile/Hannah_Fry?sc_omxb_p

Инкогнито уже раскрыто, а текст после имени пользователя указывает на то, что этот человек ввел пароль и в настоящее время просматривает именно свой профиль, и хозяева сайта точно знают, что сейчас он видит собственную страницу. Так же работает и Twitter. Все, кто заходит на свою страницу аналитики в Twitter, попадают в поле зрения сотрудников соцсети. Против тех, чьи данные не содержали явного идентификатора, у компании нашелся другой прием. Все, кто вбивает какие-либо слова онлайн – скажем, дает ссылку на вебсайт или общедоступный плейлист в YouTube – в сущности, все, кто оставляет открытый и связанный с собственным настоящим именем след своей “цифровой тени”, – по ходу дела невольно снимают с себя маску. С помощью несложной программы исследователи провели сравнительный поиск по обще-доступным страницам и анонимным профилям – прошлись по списку адресов, чтобы посмотреть, кто посещал упомянутые сайты в то же время и в те же дни, когда появлялись ссылки онлайн, и таким образом раскусили анонимов. В итоге они узнали полные имена всех людей из своей базы данных и получили – доступ к полной истории поиска в интернете за месяц для миллионов граждан Германии.

В эти три миллиона попали и весьма заметные лица. Один политик искал в интернете лекарства. Полицейский скопировал и загрузил в гугл-переводчик важный следственный документ, детали документа отразились в адресе URL, и экспериментаторы оказались в курсе дела. Некий судья, как выяснилось по его истории поиска, ежедневно наведывался на интересные странички. В частности, в августе 2016 года за восемь минут он отметился на нескольких порносайтах. При этом судья, каждый день заглядывая в интернет, искал также имена для новорожденных, детские коляски и роддома. Исследователи решили, что его супруга в то время ждала ребенка. Следует понимать, что в его действиях не было ничего противозаконного. По мнению многих людей, и по моему тоже, он вообще не сделал ничего дурного. Но эти сведения могли бы сыграть на руку кому-то, кто хотел бы скомпрометировать его самого и его семью.

Мы уже заходим далеко за “зловещую черту”. В ту область, где глубоко личная информация о вас, собранная у вас за спиной, может послужить средством манипуляции. Именно это и случилось с британской консалтинговой компанией Cambridge Analytica.

Cambridge Analytica

Вероятно, вы уже наслышаны об этой истории.

Еще в 1980-х психологи применяли для количественной оценки личности систему пяти факторов. Вы получаете баллы за каждое из следующих свойств характера: открытость опыту (любознательность), добросовестность, экстраверсия, доброжелательность и невротизм. В совокупности эти оценки дают удобную, унифицированную систему описания типа личности.

В 2012 году, за год до появления компании Cambridge Analytica, группа ученых из Кембриджского и Стэнфордского университетов заинтересовалась корреляцией между большой пятеркой факторов и страницами, которые “нравились” пользователям Facebook[67][68]. Они сочинили анкету – психометрический тест – для пользователей, надеясь найти корреляцию между подлинным характером человека и его фейсбучным образом. Скачивая анкету, отвечающие абсолютно добровольно и сознательно предоставляли информацию по обеим категориям – раскрывали свою историю “лайков” в Facebook и, отвечая на вопросы, давали личностные оценки.

Нетрудно предположить, как могут соотноситься между собой “лайки” и характер человека. Как сообщали исследователи в опубликованной год спустя работе[69], те, кому нравились Сальвадор Дали, медитация и TED-конференции, почти всегда демонстрировали высокие результаты по открытости к опыту (любознательности). В то время как любители тусовок, танцев и фанаты Снуки из телевизионного реалити-шоу “Пляж” оказались более экстравертны, чем другие. Эксперимент оказался удачным. Установив соответствие, ученые разработали алгоритм оценки личности по одним только отметкам “нравится” в соцсети.

В 2014 году были обнародованы результаты второго исследования[70], и к тому времени его авторы уже с уверенностью утверждали, что по тремстам “лайкам” из профиля в Facebook программа способна “узнать” человека лучше, чем его муж или жена.

Перенесемся в настоящее: другой коллектив ученых, на этот раз из Центра психометрии Кембриджского университета, расширил рамки применения программы – адаптировал ее для оценки личности еще и по ленте в Twitter. У исследователей есть общедоступный сайт, где каждый может себя испытать. Поскольку мой профиль в Twitter тоже открытый, я решила проверить, как меня оценят, – выложила свою историю и для сравнения заполнила обычный опросник. Программа угадала три из пяти черт моего характера. Хотя в традиционной анкете я выглядела более экстравертной и легковозбудимой, чем можно было бы судить по моему поведению в Twitter.[71]

Ученых вдохновляла возможная польза этого эксперимента для рекламы. Поэтому в 2017 году та же группа исследователей перешла уже к рассылке рекламных сообщений сообразно личным особенностям характера адресата. Они стали рекламировать косметические товары на платформе Facebook, причем экстраверты видели слоган “Танцуй так, словно на тебя никто не смотрит (хотя смотрят все)”, а интровертам показали улыбающуюся девушку перед зеркалом и подпись “Красоте не надо кричать”.

Одновременно самым любознательным предлагали картинку с рекламой кроссвордов и сканвордов и такие тексты: “Аристотель? Сейшелы? Дайте волю своей творческой энергии, испытайте силу своего воображения, любые кроссворды и сканворды специально для вас!” Те, кто не проявлял открытости к новому опыту, получили точно такие же предложения, но с другими призывами: “Отдыхайте за любимым развлечением! Над этими кроссвордами и сканвордами ломали голову многие поколения знатоков!” В общем и целом, исследователи выяснили, что реклама, подобранная по характеру, получает на 40 % больше кликов и дает на 50 % больше покупок, чем безликие и безадресные обращения. Впечатляющие результаты для рекламодателей.

Тем временем, пока ученые были заняты научными публикациями, другие внедряли их методы. Говорят, среди этих других была и компания Cambridge Analytica, которая тогда работала на предвыборный штаб Дональда Трампа.

Теперь давайте вернемся немного назад. Cambridge Analytica, очевидно, использовала те же методики, что и Fry’s, моя воображаемая туристическая фирма премиум-класса. Ее целью было не рассылать рекламные объявления наугад, а выявить небольшие группы предположительно отзывчивых на агитацию людей и обращаться непосредственно к ним. Например, они обнаружили довольно-таки большую область пересечения двух разных аудиторий – покупателей добротных американских “фордов” и убежденных сторонников Республиканской партии. Тогда они принялись выискивать таких поклонников марки Ford, которые не относились к электорату республиканцев – надо было проверить, нельзя ли заманить их в свой лагерь, показывая им стандартные материалы, апеллирующие к патриотизму. Если подумать, когда кандидат выбирает район, где живут не определившиеся с выбором граждане, и обходит дома, агитируя всех по очереди, он делает практически то же самое. Это отличается от предвыборных кампаний Обамы и Клинтона только тем, что все происходит онлайн. Все главные политические партии в западном мире проводят всесторонний анализ аудитории и обращаются к каждому избирателю по отдельности.

Однако, если верить снятому скрытой камерой репортажу телеканала Channel Four, Cambridge Analytica на основании личных профилей избирателей еще и применила индивидуальный подход – так, компания нашла матерей-одиночек, которые получили высокие баллы за невротизм, и, сыграв на их страхе стать жертвой грабителей в собственном доме, постаралась склонить их к поддержке оружейного лобби. Точно так же действовали магазины, рассылая рекламу товаров, да и в других политических кампаниях, по-видимому, шли в ход те же методы.

Мало того, Cambridge Analytica обвиняли еще и в маскировке политической агитации под публицистику. Как рассказал газете Guardian осведомленный собеседник, одним из самых эффективных агитационных инструментов предвыборной кампании стала интерактивная графическая публикация под заголовком “10 неудобных истин о Фонде Клинтонов”[72][73]. Другой информатор поведал еще больше – он утверждал, что многие вбросы Cambridge Analytica были основаны на откровенной лжи[74].

Предположим, просто для условности, что все вышеизложенное верно: ориентируясь на психологические профили пользователей Facebook, Cambridge Analytica целенаправленно рассылала им фальшивые новости, которые должны были оказать давление на их выбор. Но дало ли это эффект?

Микроманипуляция

Мы однобоко оцениваем силу воздействия политической агитации на целевую аудиторию. Сами-то мы, как нам кажется, мыслим самостоятельно и не поддаемся на происки манипуляторов, а вот другие – особенно те, кто придерживается иных политических взглядов, – наивны, как малые дети! Наверное, истина кроется где-то посередине.

Мы знаем, что посты в соцсети способны влиять на наши чувства. В 2013 году сотрудники Facebook провели спорный эксперимент: они пытались управлять эмоциями и настроением людей, а для этого подтасовывали публикации в лентах 689 003 пользователей без их ведома и согласия[75]. Они скрыли оптимистичные посты их друзей, а затем повторили тот же фокус с публикациями, в которых преобладала минорная лексика, и стали наблюдать за реакцией ничего не подозревавших участников тайного исследования. Те, кто видел у себя в ленте меньше плохих новостей, и сами писали более радостные посты. Если же от людей прятали хорошие новости, они выбирали слова с негативным оттенком. Вывод: нам кажется, что нашими чувствами никто не может управлять, но, вероятно, мы ошибаемся.

Из описанного в главе “Власть” опыта Эпштейна мы знаем и то, что достаточно правильно расположить страницы в поисковике – и неопределившиеся избиратели отдадут голос нужному кандидату. Из результатов тех самых научных работ, откуда Cambridge Analytica позаимствовала алгоритмы, мы знаем также, что реклама, в которой учитываются индивидуальные особенности адресата, более эффективна.

Сопоставив факты, можно с уверенностью утверждать, что такими способами можно повлиять как на денежные траты людей, так и на их решение во время выборов. Но – и это важно – чтобы принять решение, вы должны еще кое-что знать.

Все, о чем мы говорили, – чистая правда, но на самом деле эффект крайне слабый. Пользователи Facebook, которых ограждали от неприятных новостей, действительно начинали писать более оптимистичные посты. Однако разница не превышала одной десятой процента.

Точно так же в примере с индивидуально ориентированной рекламой интроверты активнее приобретали косметику, если учитывались особенности их характера, но рост продаж был несущественным. Реклама общего назначения обеспечила магазину 31 покупку на тысячу переходов по ссылке. Адресная реклама привлекла 35 клиентов из тысячи человек, кликнувших на нее. Даже пятидесятипроцентный прирост продаж, о котором шла речь выше и в выделенной жирным шрифтом аннотации академической статьи, на деле означал 16 эффективных кликов из тысячи по сравнению с прежними 11.

Да, эти методы работают. Но рекламодатели не загоняют свои слоганы непосредственно в мозг пассивной аудитории. Не такая уж мы легкая добыча. Мы гораздо чаще склонны критически относиться к агитации и пропускать рекламу мимо глаз и ушей, чем хотелось бы тем, кто к нам обращается. В итоге при самой действенной и тонко настроенной рекламной кампании повлиять на целевую аудиторию удастся лишь в самой незначительной степени.

И все-таки даже столь легкие толчки могут сдвинуть равновесие сил на выборах. Если численность населения составляет десятки, а то и сотни миллионов человек, один голос из тысячи – это заметный прирост. И если вспомнить, что Трамп, как сообщил Джейми Бартлетт в английском еженедельнике Spectator, победил в Пенсильвании с перевесом в 44 000 голосов при шести миллионах избирателей, в Висконсине – в 22 000 голосов, а в Мичигане – в 11 000, пожалуй, преимущества менее чем в 1 % будет вполне достаточно[76].

Вообще-то мы не знаем, в какой степени все это повлияло на выборы президента США. Даже если бы мы располагали информацией в полном объеме, невозможно вернуться в те дни и разобраться в сложнейших причинно-следственных связях, чтобы понять, почему тот или иной человек принял то или иное решение. Что было, то прошло. Для нас важно наше будущее.

Оцените меня

Не забывайте, что интернет в его нынешнем виде приносит пользу нам всем. Любой человек в любой точке мира легко и беспрепятственно, в режиме реального времени подключается к мировым коммуникационным сетям, в его распоряжении богатейший запас накопленных человечеством знаний, он узнает самые свежие новости обо всем, что происходит в разных уголках нашей планеты, и пользуется последними достижениями техники и новейшим программным обеспечением, разработанным частными компаниями и оплаченным за счет рекламы. Мы согласились на условия договора. Бесплатные технологии в обмен на персональные данные и возможность с их помощью влиять на наше мнение и зарабатывать на нас. Плюсы и минусы капитализма в одной бартерной сделке.

Казалось бы, мы должны быть довольны обменом. Вроде ни к чему не придерешься. Но если и так, самое главное – помнить о сопряженных со сбором данных опасностях. Надо понимать, какие риски таят в себе базы данных, даже если не брать в расчет проблемы приватности и потенциальной угрозы демократии – как будто уже одного этого мало. В этой антиутопии есть еще один острый момент. Один из вариантов применения обширных баз данных со множественными перекрестными ссылками показан в популярном сериале “Черное зеркало” на канале Netflix, однако в жизни он тоже реализован. Это система рейтинговой оценки граждан, известная под названием Sesam Credit и взятая на вооружение китайскими властями.

Представьте себе, что вся информация о вас, собранная по крупицам брокерами данных, сконцентрирована в обобщенном рейтинговом показателе. Учтено буквально все. Не только обычные сведения о вас – ваша кредитная история, номер мобильного телефона, адрес, – но и подробности повседневной жизни. Ваши публикации в соцсетях, данные из приложения поиска попутчиков, даже “выписка” с сайта знакомств. На основании досье выводится единый численный показатель от 350 до 950.

Sesame Credit не раскрывает детали расчета “суммарной” оценки, но технический директор компании Ли Инъюнь в интервью изданию пекинской медиагруппы Caixin Media рассказал, о чем, в частности, можно узнать из этих рейтингов: “Например, если кто-то по десять часов в день играет на компьютере, то, скорее всего, этот человек – бездельник. Часто покупают детские подгузники, скорее всего, родители маленьких детей, а они, должно быть, люди ответственные”[77].

Если вы китаец, то ваш рейтинг – отнюдь не пустой звук. Если вы удостоились более чем 600 баллов, сможете получить специальную кредитную карту. Заслужили больше 666 – в награду вам повысят лимит кредитования. С рейтингом выше 650 баллов можно взять в аренду автомобиль без залога и воспользоваться услугами VIP-зала в пекинском аэропорту. С оценкой выше 750 баллов смело рассчитывайте на ускоренное оформление визы в Европу[78].

При условии добровольного участия в программе все очень весело и увлекательно. Но к концу 2020 года рейтингование граждан станет всеобщим и обязательным, что отразится буквально на всех сторонах жизни обладателей низких оценок. В государственном документе об этой системе приведены примеры наказаний, которые может понести гражданин, признанный неблагонадежным: “Запрет на выезд за границу, ограничения при покупке… недвижимости, авиабилетов и туров, при бронировании номеров в отелях, имеющих категорию звездности-”. Предупреждается также, что в случае “действий, серьезно подрывающих доверие… коммерческим банкам рекомендуется ограничить предоставление кредитов, услуг страхования и предложение прочих банковских услуг таким гражданам”[79]. Законопослушание одобряется и поощряется. Утрата доверия влечет за собой санкции. Как говорит Рогир Кремерс, ученый из Института Ван Волленховена Лейденского университета, специалист по китайскому праву и госуправлению, “самое подходящее сравнение для этой системы – нежеланное дитя программы – лояльности”[80].

Не знаю, что хорошего можно сказать о Sesame Credit, но я бы не хотела, чтобы вы жили с ощущением неминуемого конца света. Всегда есть проблески надежды. Каким бы мрачным ни представлялось вам ближайшее будущее, судя по отдельным признакам, ситуация постепенно меняется. Многие аналитики данных и раньше отлично знали об эксплуатации сведений о личной жизни людей и выступали против их использования в корыстных целях. Но до шумихи с Cambridge Analytica эти вопросы не привлекали к себе столь пристального внимания мировой общественности. В начале 2018 года, когда вспыхнул скандал, люди впервые отчетливо увидели, как алгоритмы исподтишка собирают их персональные данные, и признали, что без контроля и регулирования последствия могут быть тяжелыми.

Контроль и регулирование не заставили себя ждать. Для граждан Евросоюза недавно был принят новый нормативно-правовой акт – “Общий регламент защиты данных” (General Data Protection Regulation, GDPR), – согласно которому деятельность брокеров данных во многих отношениях поставлена вне закона. Теоретически они больше не вправе собирать информацию о вас, не имея специальной цели. Не вправе обрабатывать информацию о вас без вашего согласия. И не вправе без вашего ведома собирать информацию о вас в каких-либо иных целях, кроме тех, на которые вы дали согласие. Однако отсюда не следует, что деятельность такого рода прекращается. Во-первых, мы сами, гуляя в интернете, часто игнорируем опубликованные на сайтах правила и условия, поэтому можем незаметно для себя согласиться с ними. Во-вторых, когда данные обрабатываются и передаются главным образом втихую, не так-то просто обнаружить такие действия и применить закон. Нам остается только ждать и наблюдать за ходом событий.

Повезло европейцам, но и в Америке тоже раздаются призывы к регулированию сбора данных. Еще в 2014 году Федеральная комиссия по труду опубликовала отчет о сомнительной деятельности брокеров данных и с тех пор активно выступает за права потребителей. Компания Apple встроила в браузер Safari систему “Умного предотвращения отслеживания” (Intelligent tracking prevention, ITP). То же самое сделал Firefox. Facebook разрывает отношения с брокерами данных. Внедрения обязательной защиты персональных данных добиваются в Аргентине, Бразилии, Южной Корее и многих других странах. Лидирует в этой области Европа, однако мировые тенденции складываются в нужном направлении.

Если данные – это новое золото, то сейчас мы с вами живем на Диком Западе. Впрочем, я смотрю на все это с оптимизмом и думаю, что, по крайней мере, для многих из нас худшее уже позади.

Все же надо держать в уме, что совсем бесплатного сыра не бывает. Пока закон пытается наверстать упущенное, а общественное благо жестко конфликтует с прибылями корпораций, мы должны быть начеку и не поддаваться обманчивому ощущению личной безопасности. Всякий раз, когда мы пользуемся какой-нибудь программой – особенно бесплатной, – мы должны подумать о чьих-либо возможных интересах. Почему это приложение не требует с меня денег? Что на самом деле оно делает? Устраивает ли меня такой обмен? А может, лучше я обойдусь без нее?

Это предостережение актуально не только в виртуальном пространстве, ибо такие расчеты проникают во все без исключения сферы жизни общества. Прогнозирование нашего покупательского поведения – не все, на что способны алгоритмы с базами данных. Они еще и посягают на нашу свободу.

Правосудие

Воскресными вечерами в Брикстоне, где начинается наша следующая история, всегда полно благодушных выпивох. Всем известно, что лондонский район Брикстон – самое подходящее место для вечерних и ночных развлечений. Вот и тогда, после завершения музыкального фестиваля на улицы высыпала толпа веселых людей – одни направились домой, другие собирались гулять дальше. Но в половине двенадцатого ночи обстановка резко изменилась. В одном из тамошних микрорайонов, застроенных муниципальными домами, завязалась массовая драка, полиция не сумела утихомирить дерущихся, и конфликт быстро перекинулся в центр Брикстона, увлекая уже сотни молодых людей.

Это случилось в августе 2011 года. Накануне в Тоттнеме, на другом конце города, первоначально мирная акция протеста, вызванная гибелью в перестрелке с полицией молодого человека по имени Марк Дагган, приняла отнюдь не мирный характер. Это была уже вторая ночь подряд, когда целый район города погрузился в хаос – но атмосфера была совсем другая. Шествие местного значения вылилось в массовое нарушение всех норм поведения и законов с безудержным мародерством.

В самый разгар уличных беспорядков двадцатитрехлетний студент электротехнического колледжа Николас Робинсон шел домой от своей девушки кратчайшим путем, как он ходил всегда, – через Брикстон[81]. Однако знакомые улицы выглядели совсем не как всегда. Перевернутые автомобили, разбитые окна, кое-где занимался пожар, двери всех магазинов взломаны[82]. Тщетно полиция старалась унять бунт – остановить отгрузку одежды, обуви, компьютеров и телевизоров в машины и мотоциклы, подогнанные прямо к разбитым витринам магазинов, никак не удавалось. Брикстон вышел из-под контроля.

Недалеко от магазина электротоваров, который как раз вычищали, шел Николас Робинсон, мимо хорошо знакомого ему супермаркета. Супермаркет, как и все прочие магазины, изрядно пострадал – витрины и двери расколочены, на полках кавардак после налета распоясавшихся хулиганов. По улице, не обращая внимания на полицию, бежали ошалевшие граждане с новенькими ноутбуками. Николасу захотелось пить. Оказавшись в этом хаосе, он зашел в магазин и взял упаковку бутилированной воды стоимостью три с половиной фунта. Едва он развернулся, чтобы уйти, появились полицейские. Николас мгновенно осознал, что же он сделал, бросил упаковку и попытался удрать[83].

Наступил вечер понедельника, страна готовилась к продолжению вакханалии. Конечно же, улицы снова заполонили ночные воришки[84]. В их числе был и восемнадцатилетний Ричард Джонсон. То, что он увидел в новостях, так завлекло его, что он схватил балаклаву (точно не по сезону), запрыгнул в машину и помчался прямиком к ближайшему торговому центру. Закрыв лицо, Ричард побежал в магазин игровых приставок, набрал дисков с компьютерными играми и вернулся к машине[85]. Но на свою беду он припарковался прямо перед камерой видеонаблюдения. Полиция легко вычислила его по номерам, а поскольку была видеозапись, возбудить дело против него также не составило труда[86].

И Ричарда Джонсона, и Николаса Робинсона арестовали за участие в уличных беспорядках 2011 года. Обоим предъявили обвинение в грабеже. Оба предстали перед судом. Оба признали свою вину. Но на этом сходство между их делами заканчивается.

Первым место на скамье подсудимых в суде магистратов Камберуэлла, меньше чем через неделю после инцидента, занял Николас Робинсон. Несмотря на грошовую стоимость украденной им воды и отсутствие у него судимостей, несмотря на то что он учился в колледже и на суде искренне раскаялся в своем проступке, судья заявил, что своими действиями он способствовал беззаконию и анархии в Брикстоне той ночью. И потому Николас Робинсон – его родные, присутствовавшие в зале суда, громко ахнули – приговаривается к шести месяцам тюремного заключения[87].

Дело Джонсона рассматривалось в суде в январе 2012 года. Джонсон не попал за решетку, хотя вышел из дому с намерением совершить кражу и одевшись, очевидно, с целью скрыть свою личность и тоже внес свой вклад в нарастание уличных погромов. Ему дали условный срок и назначили двести часов общественных работ[88].

Проблема согласованности

Судебной системе известно о собственном несовершенстве, но она и не стремится к совершенству. Вынесение обвинительного приговора и назначение наказания не относятся к точным наукам, и судья не может гарантировать, что не будет никаких погрешностей. По этой причине в юридической лексике так часто встречаются слова “достаточно оснований для сомнений” и “существенные основания”, а апелляция является важной частью судебного процесса. В самой системе принимается, что абсолютной точности достичь невозможно.

Но, пожалуй, слишком разное отношение к подсудимым, как в случае Николаса Робинсона и Ричарда Джонсона, нельзя считать справедливым. Прежде чем возмущаться “нечестностью” столь разного судейства, следует учесть множество факторов, однако в пределах разумного можно надеяться на более или менее одинаковый подход арбитров к принятию решения. Скажем, если вы и ваш воображаемый двойник обвиняетесь в одинаковых преступлениях, то вы вправе рассчитывать и на одинаковые приговоры. Но всегда ли судят так?

В 1970-х годах группа американских исследователей попыталась найти ответ на похожий вопрос[89]. Рассматривать идентичные дела двух разных преступников было бы трудно с практической точки зрения и нежелательно с этической, поэтому они поступили иначе – придумали ряд гипотетических судебных дел и спросили сорок семь независимых судей окружных судов штата Вирджиния, каково было бы их решение в каждом случае. Суть одного их этих дел изложена ниже, представьте себя на месте судьи. Как бы вы рассудили?

Обвиняемая, 18 лет, задержана вместе со своим бойфрендом и еще семью знакомыми и арестована за хранение марихуаны. В доме были обнаружены многочисленные доказательства того, что молодые люди курили марихуану и хранили ее в большом количестве, однако у самой обвиняемой марихуаны не нашли. Девушка была из семьи среднего класса, хорошо училась, судимостей ранее не имела, при аресте и впоследствии сопротивления не оказала, но и своей вины не признала.

Разброс в судейских решениях оказался огромным. Двадцать девять судей из сорока семи оправдали девушку, восемнадцать признали виновной. Восемь судей из тех, кто вынес обвинительный приговор, предложили дать ей условный срок, четверо сочли, что наиболее подходящим наказанием для нее будет штраф, трое назначили и то, и другое, еще трое готовы были отправить ее за решетку.

Итак, при одних и тех же доказательствах, по одному и тому же делу, в зависимости только от того, какого судью послала бы девушке счастливая – или злая – судьба, она могла бы выйти из зала суда без всякого наказания или уехать прямиком в тюрьму.

Сильное потрясение для тех, кто надеется на объективность судов. Но дела обстоят еще хуже. Мало того, что судьи не согласны друг с другом, – они и собственное решение могут оспорить.

В исследовании, проведенном позднее, восьмидесяти одному судье из Великобритании задали вопрос: могли бы они отпустить под залог гипотетических обвиняемых?[90] В каждом из вымышленных дел описывались различные вымышленные истории преступления и криминальное прошлое подсудимого. Как и их коллеги из Вирджинии, английские судьи не смогли прийти к согласию ни по одному из сорока одного предложенных им эпизодов[91]. Но теперь каждый судья разбирал сорок одно смоделированное дело, семь из которых повторялись, а поскольку имена обвиняемых были изменены, судьи не заметили совпадения. Этот коварный подводный камешек помог кое-что прояснить. Большинство арбитров, рассматривая одно и то же дело по второму кругу, умудрились вынести решение, отличное от первоначального. Поразительно, что некоторые судьи, без всякого преувеличения, с тем же успехом могли бы назначать освобождение под залог наобум, настолько их собственные решения не совпадали[92].

Другие многочисленные исследования показали те же результаты: если судьям позволить самостоятельно карать или миловать, мнения обязательно разойдутся. При достаточной свободе действий судей вся система может превратиться в лотерею.

Выход, безусловно, есть, и довольно простой. Чтобы судебные решения всегда принимались согласованно, надо лишить судей возможности действовать исключительно по своему усмотрению. Если бы всех, кому предъявлено одно и то же обвинение, судили по одной и той же схеме, сходимость результатов была бы обеспечена – хотя бы в решениях о мере пресечения и приговорах. Некоторые страны пошли именно по такому пути. В судопроизводстве США на федеральном уровне и в отдельных регионах Австралии действует система предписаний по вынесению приговоров[93]. Но за согласованность такого рода приходится платить. Повышение точности сопровождается неизбежными потерями в других аспектах справедливости.

Для наглядности давайте представим себе двух обвиняемых за кражу в магазине. Один – более или менее довольный жизнью вор-рецидивист, который сам выбрал себе дело по душе; другой недавно потерял работу, еле сводит концы с концами, на воровство решился, чтобы хоть как-то прокормить семью, и теперь глубоко раскаивается в содеянном. Если не будет возможности учесть смягчающие обстоятельства, из-за жестких инструкций, предписывающих судить людей за одинаковые преступления по одной и той же схеме, наказание может оказаться чересчур суровым и для некоторых осужденных сведет к нулю шансы на исправление.

Непростая задачка. При любой системе судейства надо постараться найти баланс между индивидуальным подходом и гарантией постоянства в решениях. Чтобы решить эту дилемму, в большинстве стран выбирают компромисс между двумя крайними вариантами – прескриптивной системой федеральных судов США и практически полной свободой судей, как в Шотландии[94]. В странах Запада предписаниями по назначению наказаний устанавливается или максимально возможная мера (например, в Ирландии), или минимальная (как в Канаде), или обе (в Англии и Уэльсе)[95], а судьи могут выбирать наказание в этих пределах.

Идеальной системы не существует. Одна несправедливая, необъективная система соревнуется с другой, и здесь царит хаос. Но алгоритмы получают шанс проявить себя с лучшей стороны в любых, самых головоломных делах. Ибо применение алгоритмов, что немаловажно, позволяет соблюсти оба условия – систематичность и индивидуальный подход к выбору судейского решения. Никому не хочется выбирать между этими условиями.

Уравнение правосудия

Алгоритм не может вынести приговор. Он не умеет сопоставлять доводы защиты и обвинения, анализировать доказательства, ему не понять, осознал ли подсудимый свою вину. Не ждите, что в обозримом будущем он заменит судью. Но что он может, как ни трудно в это поверить, – так это рассчитать риск повторного преступления, исходя из персональных данных человека. А поскольку суд нередко принимает решение на основании оценки вероятности того, что подсудимый вернется на путь преступления, иметь такую опцию весьма полезно.

Персональные данные и расчеты применяются в судействе уже почти столетие, впервые это начали делать в Америке еще в двадцатых годах прошлого века. При тогдашней американской системе подсудимых обычно приговаривали к максимальной мере наказания, они сколько-то отсиживали, после чего их отпускали “под честное слово”[96]. На основании этого закона десятки тысяч заключенных выходили из тюрем раньше срока. Одни благополучно исправлялись, другие – нет. Но все вместе они представляли собой идеальный материал для эксперимента в естественных условиях, а вопрос был поставлен так: можно ли предсказать, нарушит ли заключенный взятые на себя обязательства?

Знакомьтесь – Эрнст Уотсон Бёрджесс, канадский социолог из университета Чикаго, хлебом не корми – дай составить прогноз. Бёрджесс был убежденным сторонником количественного анализа общественных явлений. Чего только он не прогнозировал за свою многолетнюю практику – от последствий выхода на пенсию до счастливых браков, – а в 1928 году впервые предложил эффективный метод оценки риска преступных действий, основанный не на интуиции, а на результатах измерений.

Бёрджесс собрал самые разнообразные сведения о трех тысячах обитателей иллинойсской тюрьмы и сформулировал двадцать один фактор, от которых, по его мнению, “возможно, зависит” вероятность нарушения условий условно-досрочного освобождения. Учитывались, в частности, вид правонарушения, срок пребывания в тюремной камере и социальный тип заключенного; с присущей социологу начала XX века деликатностью он выделил социальные типы – например, “бродяга”, “пьяница”, “бездельник”, “деревенщина” и “иммигрант”.

Каждому заключенному Бёрджесс поставил оценку от 0 до 1 по каждому пункту. Если сумма была достаточно велика – от 16 до 21, – то вероятность рецидива преступления Бёрджесс оценивал как низкую. Те, кто набрал низкие баллы – не больше 4, – по его мнению, наверняка нарушили бы правила условно-досрочного освобождения.

Когда все участники эксперимента вышли на свободу и при желании могли бы нарушить установленный законом порядок, у Бёрджесса появился шанс проверить достоверность своих прогнозов. Для столь примитивной методики он добился поразительной точности прогнозирования. В группе низкого риска 98 % осужденных успешно выдержали весь срок, в то время как две трети преступников из группы высокого риска сорвались[97][98]. Оказалось, что даже самые приблизительные статистические модели позволили дать более точные прогнозы, чем это делали люди.

Однако у модели Бёрджесса нашлись и критики. Скептики спрашивали, все ли факторы, которые давали надежду на счастливый исход условно-досрочного освобождения, применимы всегда и везде? У них были свои резоны: не думаю, что определение “деревенщина” оказалось бы полезным при прогнозировании рецидивов преступлений в криминогенной среде неблагополучных городских кварталов. Другие ученые упрекали Бёрджесса за то, что он использовал все доступные ему данные, но не проверял, насколько они релевантны[99]. Подвергали сомнению и сам метод оценки заключенных – в общем, это было всего лишь облеченное в формулы мнение специалиста. Тем не менее точность его прогнозов произвела столь сильное впечатление, что к 1935 году в иллинойсской тюрьме комиссия по условно-досрочному освобождению уже пользовалась его методикой[100]. А к концу XX века математические модели, созданные на основе метода Бёрджесса, уже пошли в ход во всем мире[101].

Вернемся в наши дни – в залах судебных заседаний работают новейшие алгоритмы оценки рисков, куда более тонкие, чем первые схемы Бёрджесса. Оказывается, они не только облегчают работу комиссии по условно-досрочному освобождению, но и помогают определять, кого из заключенных можно освободить под поручительство и подбирать для них коррекционные программы, а в последнее время еще и подсказывают судьям, какой приговор вынести. Базовый принцип все тот же – загружается информация о подсудимом (возраст, история судимостей, тяжесть совершенного правонарушения и так далее), а на выходе получаем ответ на вопрос, насколько рискованно отпустить его на волю.

Как работают такие программы? Если не вдаваться в детали, в самых эффективных современных программах используется так называемый “метод случайного леса” (random forests), основанный на простейшей, в общем-то, идее. Обычное дерево решений.

Помощь зала

Возможно, в школе вам объясняли, что такое дерево решений. Учителя математики любят выстраивать по этому принципу схемы экспериментов, например, с подбрасыванием монетки или игрой в кости. Если один раз составить дерево решений, в дальнейшем можно будет использовать его в качестве блок-схемы – имея набор условий, вы шаг за шагом смотрите, что делать или, в нашем случае, что произойдет.

Допустим, вы хотите знать, можно ли освободить некое лицо под залог. Как и при условно-досрочном освобождении, решение принимается на основе прямого вычисления. Вина значения не имеет. Вас интересует только прогноз: нарушит ли обвиняемый условия освобождения под залог, если выпустить его из заключения?

Вам в помощь дана достаточная информация о множестве других арестованных, как о тех, кто, оказавшись на свободе, ударился в бега или снова совершил противоправные действия, так и о законопослушных. Располагая этими данными – характеристиками на каждого правонарушителя, – вы могли бы нарисовать дерево решений наподобие изображенного ниже и получить блок-схему. Имея дерево решений, вы сможете с его помощью предсказать поведение следующего правонарушителя. Выбирайте нужную ветвь соответственно имеющимся сведениям о нем, пока не придете к итоговому выводу. Прогнозы будут верными при условии, что характеристики объектов исследования сходны с предыдущими.

И тут наше школьное дерево решений начинает падать. Ведь, конечно же, не каждый правонарушитель в точности повторяет один из предыдущих сценариев. Само по себе такое дерево даст массу ошибочных прогнозов. И не потому, что мы начали с простейшего примера. Даже при наличии обширной базы данных о предыдущих делах и самого разветвленного алгоритма действий одно отдельно взятое дерево даст в лучшем случае чуть более точные ответы, чем простое угадывание.

Но вы получите совсем другой результат, если составите несколько деревьев. Можно использовать не все данные сразу, а применить метод разбиения, или декомпозиции. Сначала вы строите тысячи маленьких деревьев для различных подразделов общего набора данных – так называемый ансамбль. Затем, когда появляется очередной обвиняемый, вы предлагаете каждому дереву решить, стоит или нет отпускать его под залог. Вероятно, деревья проголосуют не единогласно, какие-то могут и не угадать, но вы усредните их ответы и тем самым существенно повысите точность прогноза.

Это похоже на “помощь зала” в игре “Кто хочет стать миллионером”. Полный зал незнакомых людей часто оказывается умнее одного вашего знакомого интеллектуала. Между прочим, вероятность правильного ответа в результате “помощи зала” составляет 91 %, а спасительная соломинка в виде “звонка другу” гарантирует удачу всего лишь в 65 % случаев[102]. Ошибки многих зрителей взаимно компенсируют друг друга, и в конечном итоге оказывается, что много голов лучше одной.

Тот же принцип применим и к большой группе деревьев принятия решений, которые все вместе образуют случайный лес (забавный термин, не правда ли?). Алгоритмы формируют прогнозы на основе шаблонов, составленных при обработке массива данных, поэтому случайный лес – это алгоритм машинного обучения, который подпадает под более широкое понятие искусственного интеллекта. (В главе “Власть” мы уже упоминали “машинное обучение”, и нам еще не раз встретятся различные алгоритмы того же типа, но сейчас хотелось бы отметить, как солидно это звучит – при том что, в сущности, это просто знакомая вам со школы блок-схема, слегка приукрашенная математическими преобразованиями.) Алгоритмы случайного леса не раз доказали свою высокую эффективность в самых разных сферах жизни. С их помощью Netflix, анализируя ваши уже известные предпочтения[103], подсказывает вам, что посмотреть, Airbnb выявляет мошеннические аккаунты[104], а в медицине ставятся диагнозы (об этом нам предстоит поговорить в следующей главе).

Когда надо определить меру пресечения для правонарушителя, оказывается, что алгоритмы случайного леса имеют два колоссальных преимущества перед своими живыми “коллегами”. Первое – при равных условиях программа всегда выдает одинаковые решения. Гарантируется согласованность решений, но не в ущерб персональному рассмотрению дел. Второе важнейшее достоинство заключается в том, что прогнозы алгоритма еще и намного более точные.

Люди против машин

В 2017 году ученые решили проверить, насколько компьютерные прогнозы могут конкурировать с решениями судей[105].

Для эксперимента исследователям предоставили доступ к досье всех, кто был арестован в Нью-Йорке за пятилетний период с 2008 по 2013 год. За это время по вопросу об освобождении под залог перед судом предстали три четверти миллиона человек, так что материала для тестирования программы в противоборстве ее с судом человеческим было предостаточно.

В нью-йоркском судопроизводстве по этим делам алгоритмы не использовались, но исследователи взялись за создание множества деревьев принятия решений задним числом, чтобы проверить, насколько хорошо алгоритм справился бы с прогнозом рисков нарушения обвиняемыми условий освобождения под залог. В компьютер загрузили информацию о подсудимых – истории приводов в полицию, сведения о последнем преступлении и прочее. Машина рассчитала вероятность того, что обвиняемый не будет соблюдать условия освобождения под залог.

В реальности 408 283 обвиняемых были освобождены из-под ареста еще до суда. Любой из них запросто мог сбежать или совершить новое противоправное деяние – стало быть, мы оказываемся в выгодном положении, так как знаем, чем дело кончилось, и можем сравнить точность рассчитанных прогнозов и судейских решений. Нам доподлинно известно, кто впоследствии не явился в суд (15,2 %) и кого арестовали вновь за повторное правонарушение в период освобождения под залог (25,8 %).

К сожалению ученых, в то время судьи не удовлетворяли ходатайство об освобождении под залог, если обвиняемый не заслуживал доверия, поэтому для тех, кто остался под арестом до суда, не удалось на практике проверить, было ли постановление суда справедливым. Это несколько осложняло исследование. Невозможно было дать объективную количественную оценку точности решений суда в целом. Если нет фактов, которые подтвердили бы или опровергли прогноз поведения этих арестованных, нельзя точно определить и общую погрешность результатов эксперимента. В таком случае остается только предполагать, как повели бы себя эти люди, если бы их освободили под залог[106], и сравнительный анализ работы машин и судей можно выполнить только косвенным путем.

Впрочем, не вызывало сомнений, что люди и машины рассудили по-разному. Как показали исследователи, суд не увидел серьезных рисков в поведении тех арестованных, кого алгоритм счел действительно опасными преступниками. Собственно, судьи выпустили почти половину тех заключенных, кого алгоритм записал в группу наибольшего риска.

Но кто же прав? Как показали факты, программа не зря беспокоилась за определенный сегмент. Больше 56 % людей из этой группы не явились в суд, а 62,7 %, выйдя на волю, принялись за старое – и совершили в том числе такие тяжкие преступления, как изнасилование и убийство. Алгоритм все это просчитал.

Авторы эксперимента утверждали, что их алгоритм по своим возможностям превосходит живых судей при любых вариантах его применения. Их вывод подкрепляется цифрами. Если ваша цель – сократить численность арестованных, содержащихся под стражей до суда, алгоритм отправит за решетку на 41,8 % обвиняемых меньше при тех же показателях преступности. А если процент выпущенных под залог вас устраивает, тоже хорошо – тогда алгоритм поможет снизить долю нарушений условий залога на 24,7 % просто за счет более обоснованного отбора тех, кого можно освободить.

Это не просто теоретические рассуждения. В Род-Айленде подобные программы используются судами в течение восьми последних лет, и загруженность тюрем сократилась на 17 %, а частота рецидивов преступлений – на 6 %. А это сотни человек из группы низкого риска, которых нет нужды лишать свободы, и сотни несовершённых преступлений. К тому же, если учесть, что в Великобритании содержание одного заключенного под стражей обходится казне в 30 000 фунтов в год[107] – а в США год заключения в тюрьме строгого режима может стоить намного дороже, чем обучение в Гарварде[108], – экономятся огромные суммы денег налогоплательщиков. Это победа – и выигрывают все.

В самом деле?

Найти Дарта Вейдера

Конечно, ни один алгоритм не может абсолютно безошибочно предсказать действия любого человека. Люди слишком безалаберны, непоследовательны и эмоциональны, для того чтобы уверенно прогнозировать их ближайшее будущее. Компьютер дает более точные прогнозы, но может и ошибиться. Вопрос в том, что станется со всеми теми гражданами, для кого неверно оценили потенциальные риски.

Ошибки алгоритмов можно разделить на две категории. Ричард Берк, профессор криминологии и статистики из Пенсильванского университета, первопроходец в области прогнозирования рецидивной преступности, предложил эффектный способ описания таких ошибок.

“Бывают хорошие парни и плохие, – объяснил он мне. – Фактически алгоритм решает, кто Дарт Вейдер, а кто Люк Скайуокер”.

Одна из возможных ошибок – освободить из-под ареста Дарта Вейдера, то есть дать ложноотрицательный прогноз. Это происходит тогда, когда вы не сумели разглядеть в личности человека потенциальную опасность.

С другой стороны, если оставить в заключении Люка Скайуокера, это будет ложноположительный прогноз. Так бывает, когда алгоритм ошибочно включает человека в группу высокого риска.

Ошибки этих двух типов – ложноположительная и ложноотрицательная оценки – характерны не только для сферы – рецидивной преступности. В нашей книге мы еще не раз с ними столкнемся. От них не застрахован ни один алгоритм, предназначенный для классификации.

Алгоритмы Берка претендуют на точность прогноза убийств 75 %, то есть это одни из самых эффективных методов в этой области[109]. Впечатляющий уровень точности, если принять во внимание, какой свободой воли мы, по нашему убеждению, обладаем. Но даже при такой точности прогноза очень многие Люки Скайуокеры остаются за решеткой только потому, что, на первый взгляд, похожи на Дартов Вейдеров.

Когда к алгоритму обращаются не просто с вопросом о залоге или условно-досрочном освобождении, а выносят приговор на основе его расчета, последствия ошибочной характеристики обвиняемого могут быть более драматичны. Пример из современной жизни: с недавних пор в некоторых американских штатах судам уже разрешают при назначении срока заключения учитывать рассчитанную для данного обвиняемого степень риска. Это нововведение вызвало горячие споры, и на то есть основания: одно дело доверить программе решать, кого можно освободить досрочно, а другое – в принципе рассчитать срок лишения свободы.

Проблема отчасти в том, что на выбор срока заключения влияет не только вероятность повторного преступления – ее-то алгоритмы как раз умеют рассчитывать, – а еще множество разных условий. Судья должен принять во внимание потенциальную опасность преступника для общества, сдерживающее действие приговора на других потенциальных правонарушителей, надежду на возмездие со стороны жертвы преступления и шансы обвиняемого на исправление. Слишком много факторов на весах – неудивительно, что чересчур большие полномочия компьютеров в правосудии вызывают возражения. И неудивительно, что такие примеры, как дело Пола Дзилли, вызывают настороженность[110].

Дзилли обвинялся в краже газонокосилки. В феврале 2013 года он стоял перед судьей Бэблером в округе Бэррон, штат Висконсин, и ему уже было известно, что его адвокаты заключили досудебное соглашение с обвинением. Обе стороны полагали, что в его случае длительное пребывание в тюрьме было бы не лучшим решением. Дзилли не сомневался, что судья просто утвердит это соглашение.

К несчастью для него, в судах Висконсина использовался запатентованный алгоритм оценки рисков под названием COMPAS. Механизм его работы строго засекречен, это коммерческая тайна, как было и в случае с инструментом бюджетного регулирования, применявшимся в Айдахо (см. главу “Власть”). Но в отличие от инструмента бюджетного регулирования программа COMPAS закрыта для широкой публики до сих пор. Мы знаем лишь, что расчеты выполняются на основании анкетирования обвиняемых. В анкете был, в частности, такой вопрос: “Голодный человек имеет право на кражу – вы согласны или не согласны?” Или: “Если вы жили с обоими родителями и они разошлись, сколько вам было лет на тот момент?”[111] Программу разработали исключительно ради того, чтобы оценивать вероятность рецидива правонарушения в течение двух лет, и точность расчета этого параметра составляла примерно 70 %[112]. Это означает, что примерно в каждом третьем случае оценка была неверной. Тем не менее судьи, назначая подсудимому наказание, пользовались этой программой.

Дзилли получил плохую оценку. Алгоритм предсказал ему высокий риск насильственного преступления в будущем и средний риск повторного общеуголовного правонарушения. “Я смотрю на оценку риска, – сказал судья Бэблер на заседании суда, – и хуже быть не может”.

Результаты расчета по делу Дзилли вызывали у судьи больше доверия, чем соглашение между защитой и обвинением, и он аннулировал соглашение, а Дзилли наказал вдвойне сурово – назначил ему два года в тюрьме штата вместо одного в окружной тюрьме.

Трудно сказать, действительно ли Дзилли заслужил столь высокую оценку риска, хотя точность расчетов 70 % явно невелика для того, чтобы вердикт программы перевешивал в суде другие обстоятельства.

Дело Дзилли широко комментировалось в СМИ, но это только одно из многих подобных дел. В 2003 году Кристофер Дрю Брукс, 19 лет, вступил в половую связь с четырнадцатилетней девочкой по обоюдному согласию, и суд штата Вирджиния судил его по обвинению в совращении несовершеннолетней. В таких случаях директивы по назначению наказания предписывают тюремное заключение сроком от семи до шестнадцати месяцев. Но была принята во внимание оценка риска (на этот раз вычисленная в другой программе, не в COMPAS), и рекомендованный срок скорректировали – подняли верхний предел до двух лет. С учетом этих обстоятельств судья приговорил Брукса к полутора годам тюремного заключения[113].

Дело здесь вот в чем. В данном случае основным фактором при расчете риска рецидива был возраст обвиняемого. Юный возраст Брукса, которого судили за преступление на половой почве, оказался для него минусом, хотя на самом деле это означало, что он и его партнерша были почти ровесниками. Вот если бы ему стукнуло 36 – то есть он был бы на 22 года старше той девочки, – программа рекомендовала бы вовсе не отправлять его в тюрьму[114].

Не в первый и не в последний раз люди предпочли мнение компьютера своему собственному. Спрашивается, что можно с этим сделать? Верховный суд Висконсина имеет мнение на этот счет. По поводу угроз, которые несет в себе чрезмерное доверие судьи программе COMPAS, было вынесено резюме: “Окружным судам, использующим программу COMPAS для оценки рисков, следует действовать по своему усмотрению с учетом личности каждого обвиняемого”[115]. Впрочем, Ричард Берк считает такой подход излишне оптимистичным: “Суды, и особенно судьи, которых избирают граждане, стараются избегать ошибок. Алгоритм позволяет им сократить объем работы и снять с себя лишнюю ответственность”[116].

Есть еще вот какой вопрос. Если алгоритм включит кого-нибудь в группу высокого риска и судья лишит этого человека свободы, мы никогда не узнаем, насколько точен был прогноз. Взять хотя бы Дзилли. Возможно, он совершил бы насильственное преступление. А возможно, и нет. Возможно, клеймо опасного преступника и отсидка в тюрьме штата повлияли на всю его дальнейшую жизнь, и, если бы было принято досудебное соглашение, его судьба сложилась бы иначе. Мы не можем проверить машинные прогнозы, поэтому не можем знать, был ли прав судья, когда принял на веру оценку высокого риска, мы так и не знаем, кем был Дзилли – Дартом Вейдером или Люком Скайуокером.

Здесь нет простого и ясного решения. Как убедить людей в том, что, работая с подобными программами, они должны включать здравый смысл? Но если нам и удастся это сделать, остается еще один вопрос. Пожалуй, наиболее дискуссионный.

Предвзятость машин

В 2016 году независимое онлайн-издание ProPublica, которое впервые рассказало о Дзилли, занялось подробным исследованием программы COMPAS и воспроизвело методику оценки потенциальных рисков для семи с лишним тысяч преступников, чьи дела слушались в период с 2013 по 2014 год во Флориде[117]. Журналисты решили выяснить, кто из них совершал повторные правонарушения, чтобы проверить, насколько точен был прогноз. Но кроме того, их интересовало, различались ли оценки для белых и чернокожих обвиняемых.

Хотя в явном виде расовая принадлежность в алгоритме не учитывалась, журналисты обнаружили, что в процессе расчетов не все случаи воспринимались одинаково. В целом вероятность ошибки для чернокожих и белых подсудимых была приблизительно одной и той же, но, оценивая людей из разных расовых групп, программа ошибалась по-разному.

Для темнокожих обвиняемых из группы Люков Скайуокеров, у кого первый арест стал последним конфликтом с полицией, вероятность ошибочного включения в группу высокого риска возрастала вдвое по сравнению с такими же, но белыми правонарушителями. Ложноположительные результаты расчетов оказались смещены в черный сектор. И наоборот, белые Дарты Вейдеры, в течение двух лет после выхода на свободу совершившие новое преступление, имели в два раза больше шансов попасть по ошибке в группу низкого риска, чем чернокожие Вейдеры. Ложноотрицательные оценки преобладали в белом секторе.

Неудивительно, что статьи в ProPublica подняли волну негодования как в Америке, так и за ее пределами. В сотнях публикаций резко осуждалась равнодушная методика расчетов и звучали призывы прекратить использование в правосудии несовершенных и необъективных программ, ведь от вынесенного приговора зависит судьба человека. Трудно не согласиться с валом критики – каждый обвиняемый, независимо от того, кто или что рассматривает его дело, заслуживает честного и объективного суда, и в расследовании журналистов ProPublica складывается неблагоприятная для алгоритма картина.

Но остережемся пока списывать в утиль “несовершенную программу”. Прежде чем отринуть саму идею применения компьютеров в судействе, надо подумать о том, каким должен быть объективный алгоритм.

Конечно, хотелось бы, чтобы прогнозы в отношении всех людей с любым цветом кожи были одинаково точные. Логично также потребовать, чтобы термин “высокий риск” тоже трактовался для всех одинаково. Программа должна эффективно вылавливать потенциальных рецидивистов, невзирая на их расу и прочие социальные признаки. Кроме того, как писала ProPublica, частота и характер ошибок при расчетах не должны зависеть от расовой принадлежности.

Вроде пока мы не требуем ничего сверхвозможного. Однако не все так очевидно. К сожалению, некоторые условия объективности несовместимы с точки зрения математики.

Сейчас объясню. Предположим, вы останавливаете прохожих и с помощью своего алгоритма оцениваете вероятность того, что они кого-нибудь убьют. Поскольку подавляющее большинство убийц – мужчины (действительно, по всему миру 96 % убийств совершают мужчины[118]), то при условии, что программа для выявления убийц работает хорошо, в группе высокого риска неизбежно окажется больше мужчин, чем женщин.

Предположим, точность прогнозов для нашего алгоритма составляет 75 %. Иначе говоря, три четверти тех, кому она присвоила высокие значения риска, действительно являются Дартами Вейдерами.

Рано или поздно, приставая к прохожим, вы наберете 100 потенциальных (с точки зрения программы) убийц. Согласно статистике, 96 из них должны быть мужчинами, а 4 – женщинами. Посмотрите на иллюстрацию справа. Черные кружки соответствуют мужчинам, светло-серые – женщинам.

Далее, поскольку программа дает прогнозы для мужчин и женщин с одинаковой точностью 75 %, то четверть всех женщин и четверть всех мужчин на самом деле окажутся Люками Скайуокерами – то есть опасности для общества они не представляют, а в возможные убийцы их записали на основании неверного расчета.

По второй диаграмме после несложных подсчетов вы можете увидеть, что против мужчин будет выдвинуто больше незаслуженных обвинений, чем против женщин – по той простой причине, что вообще среди убийц мужчин больше, чем женщин.

Это сухой математический факт, не имеющий никакого отношения ни к преступности, ни к компьютерным программам. Перекос в результате вытекает из перекоса в жизни. Убийства чаще совершают мужчины, поэтому мужчин чаще подозревают в том, что они могут совершить убийство[119].

С математической точки зрения невозможно разработать тест, который будет одинаково точно работать для всех слоев общества и при этом выдавать одинаковый процент ложноположительных и ложноотрицательных прогнозов во всех группах обвиняемых, если только в каждой такой группе доля людей, совершивших преступление, не будет одной и той же.

Афроамериканцы, безусловно, веками испытывали на себе гнет неравенства и предвзятого отношения. По этой причине до сих пор в нижних социально-экономических стратах и на верхних строках криминальной статистики большинство составляют афроамериканцы. Кроме того, некоторые факты свидетельствуют о повышенном интересе полиции к гражданам с темной кожей – по крайней мере в США, в определенных видах преступности. Скажем, и черные, и белые курят марихуану на равных, однако афроамериканцы попадаются на ней в несколько раз чаще, чем белые, и эта разница может быть восьмикратной. Каковы бы ни были причины диспропорции, в США, как ни грустно, показатели приводов в полицию различаются в зависимости от расы. За повторные правонарушения черных арестовывают чаще, чем белых. Алгоритм не судит их по цвету кожи – он руководствуется теми факторами, которые стали логичным следствием выраженного социального неравенства, исторически сложившегося в Америке. Пока во всех социальных и расовых группах показатели по арестам не сравняются, подобная необъективность останется в силу законов математики.

Это не умаляет важности проделанной интернет-изданием работы. Журналистское расследование показало, как легко алгоритмы закрепляют былое неравенство. Но и для алгоритма это тоже не оправдание. Если компания зарабатывает на анализе персональных данных, то, с точки зрения морали (если уж не закона), она обязана отвечать за свои промахи и недостатки методики расчета. Однако компания Equivant (бывшая Northpointe), разработчик алгоритма COMPAS, по-прежнему держит его детали в строжайшем секрете под предлогом защиты интеллектуальной собственности[120][121].

Здесь возможны варианты. Алгоритмы такого типа не содержат каких-либо неотъемлемых элементов, из-за которых обязательно должны были бы проявиться пережитки прошлого. Все зависит только от исходных данных. Мы можем оставаться, как выразился Ричард Берк, “твердолобыми эмпириками” и довольствоваться имеющимися показателями, а можем признать несправедливость нынешней ситуации и с учетом этого скорректировать цифры.

В качестве иллюстрации попробуем поискать в Google картинки по запросу “профессор математики”. Вы получите несметное множество изображений белого мужчины средних лет на фоне исписанной формулами доски – хотя, возможно, ничего другого вы и не ждали. В первой двадцатке картинок я обнаружила одну-единственную женщину, что отражает реальность с удручающей достоверностью: среди профессоров математики примерно 94 % – мужчины[122]. Однако при любой точности расчета можно было бы возразить, что алгоритм – не самое подходящее зеркало для нашего мира, особенно если отраженная в нем нынешняя реальность – всего лишь результат многовекового неравноправия. Но Google при желании мог бы слегка подправить свой алгоритм, так чтобы первыми показывались ссылки с профессорами женского пола или другой расы, немного уравновесить таким образом поиск и создать картину не реального мира, а мира нашей мечты.

В судебной системе происходит то же самое. В сущности, алгоритм позволяет нам поставить вопрос так: какая доля данной социальной прослойки предположительно попадет в группу высокого риска при абсолютно справедливом устройстве общества? Программа может сразу выдать численный ответ. Или, если нам кажется, что нецелесообразно одним махом исключать все перекосы в судопроизводстве, можно велеть алгоритму идти к конечному результату поэтапно.

Кроме того, к оценке подсудимых из группы высокого риска тоже можно подходить по-разному. В случае освобождения под залог, когда главный фактор для машинного прогноза – это риск неявки обвиняемого в суд в назначенный день и час, стандартным решением станет отказ всем обвиняемым из группы высокого риска. Однако можно было бы предусмотреть в алгоритме и выяснение вероятных причин неявки в суд. Есть ли у подсудимого возможность приехать в суд? Может быть, родительские обязанности помешали ему явиться вовремя? Нельзя ли написать программу так, чтобы социальные диспропорции не усугублялись, а сглаживались?

Ответы на эти вопросы скорее найдутся не на советах директоров частных компаний, а в открытых общественных дискуссиях и на заседаниях правительства. Отрадно, что все громче звучат призывы наладить в этой сфере контроль за компьютерными программами. Подобно тому, как Управление по контролю качества продуктов питания и лекарств (FDA) следит за состоянием дел в американской фармацевтике, аналогичный регулирующий орган, не вынося сор из избы, проверял бы, насколько верны, согласованны и справедливы решения, и обладал бы полномочиями одобрять или запрещать применение того или иного программного продукта в работе с живыми людьми. А пока этого не произошло, очень хорошо, что ProPublica и ей подобные организации неустанно привлекают алгоритмы к ответу. Ровно до тех пор, пока не будет выдвинуто требование запретить все алгоритмы, которым инкриминировали несправедливые оценочные методики. По крайней мере, стоит хорошенько подумать, куда они могут нас завести, если мы их сохраним.

Мучительный выбор

Мы должны обсудить жизненно важный вопрос. Если вообще отказаться от помощи компьютеров, какую судебную систему мы получим? Ведь разнобой в решениях – не единственная беда, с которой, как выяснилось, сталкиваются судьи.

По закону, классовые, расовые и гендерные различия не должны влиять на приговор. (Все-таки предполагается, что Фемида слепа.) Но несмотря на то, что судьи в подавляющем большинстве стараются сохранять объективность, мы вновь и вновь наблюдаем случаи дискриминации. Как показали проведенные в США исследования, чернокожие обвиняемые в среднем отправляются в тюрьму на более долгий срок[123], у них меньше шансов выйти на свободу под залог[124] и больше – оказаться в камере смертников[125], при этом вероятность приведения смертного приговора в исполнение для них выше[126]. Были сделаны и другие выводы: за одни и те же преступления мужчины получают более суровые приговоры, чем женщины[127], а обвиняемые с относительно низким уровнем доходов и образования – гораздо более продолжительные сроки[128].

Как и для компьютерных программ, далеко не всегда необъективность объясняется явными предрассудками, поскольку история повторяется. Социальные и культурные предубеждения могут стать неизбежным следствием действий, которые совершаются для выбора решения.

Чтобы найти причины, сначала надо на самом элементарном уровне разобраться в том, как работает интуиция, поэтому на минутку отлучимся из зала суда и попробуем решить такую задачку:

Бита в комплекте с мячом стоит 1 фунт 10 пенсов.

Бита на 1 фунт дороже мяча.

Сколько стоит мяч?

Задачка из великолепной книги экономиста и психолога, нобелевского лауреата Даниэля Канемана “Думай медленно… решай быстро”[129] указывает нам, в какую коварную ловушку мы все попадаемся, пока размышляем.

Чтобы найти правильный ответ, надо немного подумать, зато неправильный готов сорваться с языка мгновенно. Наверняка вы едва не выпалили: “Десять пенсов!”[130]

Не расстраивайтесь, если не угадали (5 пенсов) – 71,8 % судей тоже промахнулись. Даже тем, кто справился с задачкой, надо было подавить в себе первый интуитивный порыв.

История с судейскими решениями объясняется той самой борьбой между интуицией и зрелым размышлением. В целом психологи сходятся на том, что у нас есть два способа мышления. Система 1 – это автоматическое, инстинктивное мышление с высокой вероятностью ошибки. Это она заставляет нас среагировать мгновенно и ответить: десять пенсов. Система 2 – медленные, вдумчивые, осознанные рассуждения, хотя зачастую эта система довольно ленива[131][132].

Если спросить человека, как он решал задачу, окажется, что ход его мысли направляла Система 2 – но, как говорит Даниэль Канеман, “Система 2 нередко подтверждает или обосновывает логически те идеи и ощущения, которые сгенерировала Система 1”[133].

В этом смысле судьи ничем не отличаются от всех нас. Они тоже люди с такими же странностями и слабостями, как и мы с вами. Факт тот, что наш интеллект не рассчитан на дотошный, системный анализ сложных, запутанных задач. Нам нелегко взвесить многочисленные соображения и быстро разложить все по полочкам, при этом не позволяя интуитивной Системе 1 включиться и упростить мыслительный процесс.

Например, когда встает вопрос об освобождении под залог, можно было бы надеяться, что судья, прежде чем вынести резолюцию, внимательно изучит дело и рассмотрит все аргументы за и против. Но, к сожалению, практика показывает обратное. Как выяснили психологи, судьи не склонны к мудреным схемам – они просто прокручивают в мозгу стандартный перечень предупреждающих флажков. Как только в досье обвиняемого обнаруживается любой из таких флажков – прежние судимости, связи с преступным сообществом, ходатайство со стороны обвинения, – ставится точка, и судья отказывает в просьбе об освобождении под поручительство или залог[134].

Беда в том, что слишком часто эти флажки коррелируют с расой, полом и уровнем образования. Как правило, судьи полагаются на свою интуицию больше, чем следовало бы, и таким подходом непроизвольно поддерживают необъективную систему.

И это еще не все. Как ни грустно, мы едва коснулись страшной темы предвзятого, несправедливого судейства.

Если вам случалось хоть раз в жизни убедить себя (лично мне случается, и нередко) в целесообразности покупки дорогущего платья или свитера только потому, что его уценили вдвое, вам полезно будет узнать, что такое эффект привязки. Нам трудно дать точную количественную оценку, мы с большей уверенностью сравниваем числа, чем называем абсолютные значения, не имея точки отсчета. Маркетологи уже много лет пользуются эффектом привязки для того, чтобы повлиять и на наше восприятие стоимости товаров, и на объемы наших закупок. Это работает примерно так же, как таблички в магазинах вроде “12 банок супа в одни руки”. Не подумайте, будто администрация не хочет, чтобы фанаты супа вовсе смели его с прилавков. Эти предупреждения ненавязчиво подсказывают вам, сколько банок вы должны купить. Мозг ориентируется на число 12 и дальше понижает порог. Проведенный в 1990-х годах эксперимент показал, что благодаря точно такой же табличке люди покупали больше консервов – в среднем по 7 банок вместо прежних 3,3[135].

Теперь вы, наверное, с пониманием отнесетесь к тому, что судьи тоже подвержены воздействию эффекта привязки. Если обвинение назовет крупную сумму возмещения ущерба, скорее всего, судья тоже назначит немалую денежную компенсацию[136], а если прокурор требует более строгого наказания, то и судья обычно выносит относительно суровый приговор[137]. Одно исследование показало даже, что звонок журналиста судье во время перерыва в заседании суда с намеком на вероятное наказание мог существенно повлиять на приговор по гипотетическому делу. Например, журналист мог задать вопрос: “Как вы полагаете, обвиняемый по этому делу получит больше трех лет или меньше?”[138] И, пожалуй, самое страшное: похоже, на решение судьи может повлиять число, выпавшее на игральных костях перед рассмотрением дела[139]. Даже самые умудренные опытом судьи порой попадались на такую уловку[140].

Привычка сравнивать цифры влияет на справедливость приговоров еще и по другой причине. Может быть, вы замечали за собой одно странное свойство. Чем громче музыка, тем менее заметно будет усиление звука, если вы прибавите уровень на одно деление; если повышение стоимости товара с 1,20 до 2,20 фунта покажется вам чересчур резким, а изменения цены с 67 на 68 фунтов вы даже не заметите; чем старше мы становимся, тем быстрее бежит время. Все дело в том, что мы оцениваем происходящее не в абсолютных единицах, а по относительной шкале. Год кажется нам не просто неким фиксированным периодом – в нашем восприятии доля каждого следующего года в нашей жизни сокращается. Величина отрезка времени, денежной суммы или уровень громкости в нашем восприятии подчиняются несложной математической формуле – закону Вебера – Фехнера.

Словом, по закону Вебера – Фехнера, порог чувствительности – минимальное изменение интенсивности раздражителя, которое мы способны уловить, – пропорционален начальной интенсивности раздражителя. Неудивительно, что маркетологи уже взяли это на вооружение. Они точно знают, до какой степени можно уменьшить размер и вес шоколадного батончика, так чтобы покупатели не заметили подвоха, и до какого предела можно повышать цену, прежде чем вы отправитесь за той же шоколадкой в другой магазин.

Вот и в правосудии та же проблема – судейские решения о суровости приговора тоже подчиняются закону Вебера – Фехнера. Чем строже наказание, чем больше разрыв между сроками. Если совершено более тяжкое преступление, чем то, за которое обычно дают двадцать лет, добавить еще месяца три вроде бы недостаточно: двадцать лет или двадцать с тремя месяцами – казалось бы, все едино. Хотя это не так, и как ни крути, три месяца в неволе – это три месяца в неволе. Однако судья не добавит всего несколько месяцев, а сразу шагнет на следующий уровень, так чтобы разница была ощутима – в данном случае назначит двадцать пять лет[141].

Мы можем сравнить реальные сроки с ожидаемыми согласно закону Вебера – Фехнера, так что все это правда. В 2017 году были проанализированы сто тысяч приговоров, вынесенных в Великобритании и Австралии, и выяснилось, что в 99 % случаев, когда вина подсудимого была доказана, назначенные наказания вписывались в эту формулу[142].

“Не важно, в чем именно вас обвиняют, к какому типу обвиняемых вы относитесь, в какой стране вас судят и что вам грозит – тюремное заключение или общественные работы”, – сказала мне автор этого исследования Мандип Дхами. Имеют значение только цифры, которые пришли в голову судье и показались ему подходящими.

К сожалению, можно еще много всего вспомнить о предубеждениях в судействе. Отцы дочерей склонны выносить женщинам более мягкие приговоры[143]. Если местная команда только что проиграла матч, вряд ли судья охотно согласится на освобождение под залог. В одном широко известном исследовании было даже высказано предположение, что вероятность благоприятного завершения судебного процесса зависит от времени суток[144]. Результаты эксперимента еще нуждаются в подтверждении[145], и пока неясно, так ли уж важен временной фактор, однако можно привести доказательства того, что было бы невыгодно предстать перед судом прямо перед обеденным перерывом – от судей, о которых шла речь в этой работе, скорее можно было ждать решения об освобождении под залог сразу после ланча, в то время как незадолго до перерыва вероятность хорошего финала была наименьшей.

Как показало другое исследование, судьи не любят принимать слишком много одинаковых решений подряд. Следовательно, если прямо перед вами слушали четыре дела и всех обвиняемых отпустили под залог, вам уже не на что надеяться[146].

Некоторые специалисты утверждают также, что наше отношение к незнакомцам зависит от температуры напитка, который мы держим в руках. Если вам, прежде чем вас с кем-нибудь познакомить, предложат подогретый напиток, ваш новый собеседник покажется вам более дружелюбным, великодушным и внимательным человеком[147].

Мы говорили о том, что поддается количественной оценке. Но, несомненно, есть еще масса других условий, которые исподволь влияют на наше поведение и которые невозможно протестировать в зале суда.

Резюме

Буду с вами откровенна. Когда я впервые услышала о том, что в судах применяются компьютерные программы, мне это не понравилось. Программа может промахнуться, и, по-моему, безответственно давать компьютеру слишком много власти, если из-за погрешности в алгоритме человек лишится права на свободную жизнь.

Здесь я не одинока. Так считают многие – пожалуй, даже большинство – из тех, кому пришлось столкнуться в жизни с уголовным судом. Мандип Дхами рассказывала мне о том, как относятся подсудимые, с которыми она работала, к методам рассмотрения их дел. “Они все равно предпочитали человека компьютеру, хотя и понимали, что судья может наделать больше ошибок. Подсудимые хотят человеческого отношения”.

Кстати, адвокаты придерживаются того же мнения. Я беседовала с одним лондонским адвокатом, и он сказал, что в зале суда он старается извлечь пользу из слабых мест системы, а с алгоритмами это гораздо труднее. “Чем более предсказуемо решение, тем меньше места для тонких маневров в защите”.

Но когда я спросила Мандип Дхами, как она сама почувствовала бы себя, оказавшись под арестом, ответ был прямо противоположным: “Я не хочу, чтобы моя судьба решалась по чьей-то интуиции. Лучше, чтобы была логичная, обоснованная стратегия. Мы относимся к свободе действия судей как к чему-то священному. Думаем: как это прекрасно! Однако исследования показывают, что это вовсе не так. Ничего хорошего в ней нет”.

Я, как и все, считаю, что судейские решения должны быть как можно более объективными. Они должны опираться не на принадлежность обвиняемого к той или иной группе, а на факты. В этом отношении алгоритм не слишком надежен. Но выявить недостатки алгоритма – еще полдела. Мы не должны выбирать между несовершенной компьютерной программой и некой воображаемой идеальной системой. Сравнивать можно лишь алгоритм и то, что мы получим, если его не будет.

Чем больше я читала и разговаривала с разными людьми, тем лучше понимала, что мы слишком многого требуем от живых судей. Людям от природы свойственно предубеждение. На каждого Кристофера Дрю Брукса, неправедно осужденного алгоритмом, найдется огромное множество таких же обвиняемых, как Николас Робинсон, по делам которых несправедливые решения выносили люди без помощи машин. Я думаю, если алгоритм, пускай даже не без изъянов, работает в связке с судьями и их зачастую хромая логика как-то корректируется, это шаг в правильном направлении. По крайней мере, от систематической предвзятости и случайных погрешностей хорошо отлаженная программа может нас избавить. Всех судей не переделаешь, тем более тех, кто вообще не может объяснить, как и почему они вынесли тот или иной приговор.

Прежде чем взяться за разработку программы для уголовного правосудия, мы должны сесть и хорошенько подумать, каковы задачи правосудия. Мы не можем просто закрыть глаза и надеяться на лучшее – необходимо предельно четко и однозначно представлять себе, чего мы хотим от алгоритмов и какие человеческие слабости они должны компенсировать. Это вызывает ожесточенные споры о процедуре принятия решений в судах. Задача ставится непростая, но иначе мы не придем к обоснованному выводу о принципиальной возможности применения алгоритмов с пользой для себя.

В системе правосудия масса противоречий, которые лишь добавляют путаницы, поэтому ответить на вопросы такого рода очень и очень нелегко. Но алгоритмы потихоньку проникают в другие сферы жизни, где выбор решений сопряжен с гораздо меньшими трудностями, а цели алгоритмов гораздо яснее, и их польза для общества очевидна.

Медицина

В 2015 году группа ученых, которых интересовала точность диагностики в онкологии, провела необычный новаторский эксперимент[148]. Шестнадцати участникам эксперимента предложили проанализировать изображения ткани молочной железы на мониторе с сенсорным экраном. Образцы были настоящими – женщинам провели биопсию и тонкий слой взятой на исследование ткани окрасили химическими веществами в красный, фиолетовый и синий цвета, чтобы выделить кровеносные сосуды и млечные протоки. От диагностов требовалось только определить, есть ли на видимой картине признаки злокачественных изменений в клетках.

Участники эксперимента прошли короткую подготовку и приступили к выполнению задания – и результаты оказались впечатляющие. Члены команды работали поодиночке и оценили правильно 85 % образцов.

Зато после ученые заметили нечто совсем удивительное. Когда они стали сводить результаты, то есть суммировать все ответы, чтобы получить объективную оценку каждого изображения, точность подскочила аж до 99 %.

Но не высочайшим профессиональным уровнем диагностов выделялось это исследование среди всех прочих. Главное – это кем они оказались на самом деле. Эти доблестные спасатели не были ни онкологами, ни патологами. Не были они и медсестрами или студентами-медиками. Это были голуби.

Врачам клинической лабораторной диагностики безработица пока не грозит – едва ли авторы эксперимента предлагали заменить докторов обычными голубями. Однако их исследование выявило важную вещь: не только люди способны находить в кластерах клеток некие характерные картины. Если голуби справились с этой задачей, почему бы алгоритму не попытаться?

Охотники за паттернами

Вся история и практика современной медицины зиждется на поиске паттернов – характерной картины в собранных данных. С тех самых пор, как еще две с половиной тысячи лет назад древнегреческий целитель Гиппократ создал свое учение о медицине, основу борьбы за наше здоровье составляют наблюдение, исследование и анализ полученной информации.

Еще раньше врачевание по большей части мало чем отличалось от ворожбы. Люди верили, что если человек заболел, значит, он разгневал кого-нибудь из богов, а болезнь – это результат того, что его телом завладел злой дух. Поэтому в арсенале лекаря были песнопения, речитативы и всякие суеверия – вам смешно, а вот тому, кто надеялся с помощью такой терапии отсрочить свою кончину, наверное, было не до смеха.

Не то чтобы Гиппократ в одиночку раз и навсегда излечил мир от неразумия и предрассудков – согласно легенде, у него самого вместо дочери был дракон[149], – но он внедрил в медицину совершенно новые идеи. Он был убежден, что никакая не магия, а объективное и планомерное обследование дает возможность понять причину заболевания. Он уделял особое внимание наблюдению и описанию картины болезни и таким образом возвел медицину в ранг науки, за что его заслуженно почитают как “отца современной медицины”[150].

Те научные теории, которые предлагали Гиппократ и его соратники, сейчас не выдерживают критики (они утверждали, что здоровье – это хорошо сбалансированная гармония крови, флегмы, желтой желчи и черной желчи[151]), но выводы древних докторов определенно справедливы[152]. (Между прочим, они первые сформулировали, в частности, важное правило: “Пациенты, полные от природы, рискуют умереть раньше, чем худые люди”.) Эта тема была актуальна во все века. На протяжении многих столетий мы совершили массу ошибок в толковании медицинских вопросов, но сильно продвинулись вперед благодаря способности находить паттерны, классифицировать симптомы и на основании наблюдений давать прогнозы на будущее для пациента.

История медицины изобилует примерами. Так, в Китае XV века целители впервые поняли, что людей можно прививать от оспы. Они изучали эту болезнь не одно столетие и нашли схему, которая позволяла в десять раз снизить вероятность гибели от страшной инфекции. Достаточно было найти человека с легкой формой оспы, соскоблить корочки с болячек, высушить их, растолочь и вдуть этот порошок в ноздри здоровому человеку[153]. В XIX веке, в золотую эру медицины, появились новые, научно обоснованные методики, и поиск паттерна в данных обследования стал неотъемлемой частью врачебной практики. Одним из докторов, практикующих такие методы, был венгр Игнац Земмельвейс – в 1840 году он подметил в статистике смертности пациенток родильного отделения поразительный факт. Женщины, рожавшие в родильном отделении под присмотром врачей, в пять раз чаще подхватывали гнойную инфекцию, чем те, у кого роды принимали акушерки. В тех же данных нашлось и объяснение: врачи спешили к роженицам, не помыв руки после того, как вскрывали трупы[154].

Открытия, сделанные в Китае XV века и в Европе XIX века, по-прежнему признают медики во всем мире. Не только в научных изысканиях, когда врачи исследуют болезни населения, но и в повседневной работе, когда они оказывают людям первую помощь. Нет ли перелома? Болит голова – ничего страшного или это симптом грозного недуга? Так ли уж необходимо назначить пациенту с фурункулом курс антибиотиков? Каждый раз встает задача распознавания паттерна, классификации и прогнозирования. Именно в этой области алгоритмы всегда были на высоте.

Безусловно, профессия врача подразумевает массу таких навыков и умений, которыми алгоритму никогда не овладеть. Сочувствие, например. Способность поддержать пациента, помочь ему справиться с социальными, психологическими и даже финансовыми проблемами. Но в отдельных областях медицины компьютер может предложить посильную помощь. Особенно там, где в чистом виде применяется умение распознать особый паттерн и важнее всего классификация и прогноз. Особенно в патологических исследованиях.

Пациенты редко встречаются с врачом клинической диагностики. Патолог сидит где-то у себя в лаборатории, изучает образцы крови или тканей, которые ему прислали на анализ, и дает свое заключение. Его работа завершает диагностическую линию, именно здесь решающее значение имеют высокая квалификация, аккуратность и добросовестность. Зачастую именно патолог выносит вердикт – есть рак или нет. Поэтому, если от химиотерапии, операции или еще чего похуже вас отделяют только биопсия и исследование образца, вы хотите быть уверены в том, что доктор не ошибся.

Нелегок труд патолога. Помимо всего прочего, он изучает за день сотни образцов, в каждом из которых десятки, а то и сотни тысяч клеток, распластанных между двух стекол. Это самый сложный уровень игры “Где Уолли?”[155], какой только можно себе представить. Патолог должен внимательно рассматривать каждый образец и выискивать в огромной клеточной галактике, которая открывается его взору под микроскопом, любые малейшие отклонения от нормы.

“Это невероятно сложная задача, – говорит Энди Бек, патолог из Гарварда, в 2016 году основавший PathAI, компанию по разработке программ для классификации взятых при биопсии образцов. – Если бы патологи скрупулезно изучали по пять стекол в день, можно было бы ожидать от них блестящих результатов. Но в жизни так не бывает”.

Конечно, так не бывает. В жизни врачам клинической диагностики приходится еще тяжелее, ведь сложнейшие биологические процессы кого угодно поставят в тупик. Вернемся к эксперименту с раком молочной железы, где так хорошо поработали голуби. Недостаточно просто сказать, больна пациентка или нет. Диагностика рака груди подразумевает целый спектр состояний. На одном его краю доброкачественные, здоровые клетки, которые находятся там, где им и надлежит быть. На другом – самая противная разновидность опухоли, инвазивная карцинома, при которой раковые клетки распространяются за пределы млечных протоков и прорастают в прилегающие ткани. Такие полярные ситуации выявить достаточно легко. Как выяснилось в одном из недавних исследований, патологи успешно определяют выраженные злокачественные новообразования в 96 % случаев – стая голубей, перед которыми поставили аналогичную задачу, показала примерно такой же уровень точности[156][157].

Между двумя крайними позициями – абсолютно здоровой тканью и бесспорно опасной для жизни злокачественной опухолью – есть еще несколько менее очевидных вариантов (см. рисунок ниже). Иногда в образце ткани обнаруживаются группы атипичных, подозрительных на вид клеток, но большого беспокойства они не вызывают. Это могут быть предраковые изменения, вовсе не обязательно чреватые серьезными последствиями. Или рак in situ, когда опухоль – так называемая преинвазивная (внутриэпителиальная) протоковая карцинома – остается в пределах млечных протоков.

Выбор терапии во многом зависит от того, к какой категории относится образец взятой на анализ ткани. В зависимости от его положения в диагностическом ряду доктор может сказать, необходима ли вам мастэктомия или другое лечение, а то и вовсе отпустит вас.

Загвоздка в том, что различить промежуточные состояния крайне сложно. Даже самые многоопытные врачи-патологи расходятся во мнениях относительно одного и того же образца ткани. В 2015 году был проведен эксперимент, который показал, как сильно порой различаются диагнозы разных докторов. Ста пятнадцати патологам предложили оценить 72 образца ткани молочной железы с доброкачественными изменениями, то есть занимающими среднюю позицию в ряду состояний. К сожалению, ответы совпали всего в 48 % случаев[158].

Коль скоро ваши шансы на верный диагноз примерно один к одному, то с тем же успехом можно было бы подбросить монетку. Орел – и вам без малейшей нужды делают мастэктомию (в США это стоит сотни тысяч долларов). Решка – и вы упускаете возможность выявить онкологическое заболевание на ранней стадии. И так плохо, и эдак.

Когда ставки так высоки, точность имеет критическое значение. Сможет ли алгоритм лучше выполнить эту работу?

Машины, которые видят

Вплоть до недавнего времени создание программы, способной распознать по изображению что-либо, не говоря уже о раковых клетках, считалось задачей из области головоломных. Пусть нам самим не составляет ни малейшего труда догадаться, что нарисовано на картинке – но чертовски трудно, оказывается, объяснить толком, как мы это узнаем.

Представьте себе, будто вы пишете инструкцию для компьютера, которая позволит ему определить, есть на фото собака или нет. Можно начать с самых надежных критериев – различимы ли четыре ноги, висячие уши, шерсть и прочие признаки животного. А если собака на фото сидит? Или не все ее лапы видны? А что, если у нее уши с заостренными кончиками и стоят торчком? Или собака вовсе отвернулась от камеры? И как отличить лохматого пса от длинноворсового ковра, а также от нестриженой овцы и от травы?

Конечно, можно добавить команды для каждого такого случая, предусмотреть все вероятные типы собачьего уха и шерсти, различные позы, в которых сидят собаки, но прежде чем вы начнете кое-как отличать собак от других предметов и существ с четырьмя ножками или лапами и ворсом или шерстью, программа разрастется до неудобоваримого объема и станет непригодной для работы. Надо придумать что-то другое. Есть одна хитрость – можно отойти от подробно описанных процедур и взять на вооружение так называемую искусственную нейронную сеть, или просто нейросеть[159].

Нейросеть можно представить в виде колоссальной математической структуры со множеством рычажков и ручек настройки. Вы вводите в нее картинку, нейросеть пропускает ее через себя и на выходе выдает результат – что там изображено. Варианты ответа на каждом этапе: “Собака” или “Не собака”.

Поначалу нейросеть абсолютно бесполезна. У нее нет исходной информации, и она не имеет ни малейшего понятия, что является собакой, а что нет. Все рычажки и ручки повернуты как попало. Результаты сумбурны и лишены логики, машина не разглядела бы на фото собаку, даже если это было бы необходимо для бесперебойной работы ее источника питания. Однако с каждой следующей картинкой вы подстраиваете ручки и рычажки. Мало-помалу вы обучаете нейросеть.

Вы загружаете фотографию своего пса. После очередного ответа производятся математические действия, которые регулируют рычажки нейросети до тех пор, пока предварительная оценка не станет ближе к правильному ответу. Затем вы загружаете вторую картинку, третью и, если результат ошибочен, каждый раз что-то подправляете, закрепляете маршруты, которые ведут к цели, и отбрасываете те, что уводят в сторону. Информация об общих деталях разных изображений собаки распространяется по нейросети назад. Процесс продолжается до тех пор, пока – пусть после сотен и тысяч пропущенных через нейросеть фотографий – частота ошибок не сводится к минимально возможной. Рано или поздно вы покажете машине новую картинку, никогда прежде ей не попадавшуюся, и она с высокой степенью достоверности скажет вам, есть на фото собака или нет.

Удивительно, что операторы нейросетей обычно не понимают, как и почему алгоритм делает тот или иной вывод. Отбирая изображения собак, нейросеть не ищет те характерные особенности, которые мы с вами считаем собачьими. Степень сходства с определенной породой, будь то чихуахуа или дог, машину не интересует, она ориентируется на гораздо более абстрактные параметры, такие как контуры фигуры и светотень, которые человеку мало что говорят (взгляните на пример распознавания изображения из главы “Власть”, и вы поймете, что я имею в виду). Поскольку человеку трудно осмыслить этот процесс, операторы знают лишь, что они скорректировали свои алгоритмы так, чтобы те выдавали верные ответы, а подробности работы алгоритмов не всегда известны.

Это еще один метод машинного обучения, подобный алгоритму “случайного леса”, уже знакомому нам по главе “Правосудие”. Этот алгоритм выходит за рамки инструкций программистов, он умеет учиться самостоятельно по тем изображениям, которые ему предоставили. Именно способность алгоритма к самообучению дает нам основания говорить об искусственном интеллекте. Кроме того, множество уровней “рычажков и ручек” также делают структуру нейросети более глубокой и сложной, отсюда и взялся термин “глубокое обучение”.

Нейросети появились в середине XX века, но еще в недалеком прошлом нам не хватало мощных компьютеров, которые позволяли бы использовать весь потенциал нейросетей. Лишь в 2012 году, когда ученый-информатик Джеффри Хинтон и двое его студентов представили на конкурс по распознаванию изображений нейросеть нового типа[160], мир наконец встрепенулся и всерьез занялся искусственным интеллектом. Было дано задание: найти на картинках среди всего прочего собак. Программа Хинтона и его учеников посрамила самых сильных своих конкурентов и стимулировала широкомасштабное возрождение алгоритмов глубокого обучения.

От алгоритма, который сам принимает какие-то решения, как и почему – нам неведомо, попахивает нечистой силой, однако принцип его действия, возможно, не так уж далек от нашего с вами учебного процесса. Вот вам пример для сравнения. Недавно группа специалистов учила алгоритм различать на фотографиях волков и хаски. Как выяснилось, алгоритм подгонял свои настройки таким образом, что какие-либо признаки собак в качестве подсказки ему не требовались. Он принимал решения на основании того, был ли объект изображен на фоне снега или нет. Есть снег – волк. Нет снега – хаски[161].

Вскоре после того, как статья была опубликована, мне довелось побеседовать с профессором математики из Кембриджа Фрэнком Келли, и он пересказал мне свой разговор с четырехлетним внуком. По дороге в детский сад они увидали хаски. Мальчик сказал, что “собачка похожа на волка”. Фрэнк спросил его, откуда он знает – может, это и правда волк, и получил такой ответ: “Так она же на поводке”.

Союз интеллектов

К хорошей программе для скрининга молочных желез у нас два требования. Она должна быть достаточно чувствительной, чтобы всегда отлавливать отклонения от нормы в пораженных раком молочных железах, не пропуская ни пикселя и не выдавая их за “чистые”. Но она должна также действовать достаточно избирательно, чтобы под подозрение не попала абсолютно здоровая грудь.

В главе “Правосудие” мы уже говорили о правилах чувствительности и специфичности. Это тесно связано с понятиями ложноотрицательного и ложноположительного результата (на мой взгляд, в научной литературе термины “Дарт Вейдер” и “Люк Скайуокер” для этих категорий были бы вполне уместны). В данном случае мы имеем ложноположительный результат, если здоровой женщине говорят, что у нее рак, и ложноотрицательный – если женщине сообщают, что все хорошо, хотя на самом деле она больна. Специфичный тест крайне редко дает ложноположительные результаты, в то время как высокочувствительный – мало ложноотрицательных. В какой области будет использоваться алгоритм – для прогноза повторных правонарушений, диагностики рака груди или, что мы еще увидим в главе “Преступность”, для выявления повторяющейся картины преступной деятельности – значения не имеет, идея одна и та же. Вы хотите получить как можно меньше и ложноположительных, и ложноотрицательных результатов.

Возникает проблема: зачастую, чтобы довести алгоритм до ума, приходится выбирать между чувствительностью и избирательностью. Повышая одно, вы, как правило, понижаете другое. Скажем, если вы отдадите приоритет полному исключению ошибочных отрицательных ответов, программа может пометить каждую молочную железу, которую увидела, как подозрительную. Чувствительность достигнет ста процентов, и цель будет достигнута. Но вместе с тем это означает, что огромное количество пациенток начнет лечиться, не имея в том нужды. Или, допустим, главное для вас, чтобы программа не давала ложноположительных результатов. Она будет пропускать мимо все снимки как чистые, то есть избирательность приблизится к ста процентам. Чудесная картина! Если только вы не принадлежите к числу тех женщин, у которых алгоритм не заметил раковой опухоли.

Надо отметить, что для врачей клинической диагностики специфичность не представляет трудности. Они почти никогда не находят по ошибке нехороших изменений в клетках, которые не являются раковыми. Но что касается чувствительности, тут человеку приходится поднапрячься. Уж очень легко нам упустить из внимания небольшую опухоль, даже явно злокачественную, и это пугает.

Не так давно люди и машины получили возможность помериться силами, и в этом споре стали заметны слабые стороны человеческой природы. В “матче”, получившем название CAMELYON16, сошлись команды программистов и патологи со всего мира; им предстояло выявить все случаи рака на четырех сотнях снимков. Чтобы упростить условия, были заданы два крайних случая – абсолютно здоровая ткань и инвазивный рак молочной железы. Кроме того, докторов не ограничивали во времени, они могли изучать образцы биопсии сколь угодно долго. Как и ожидалось, врачи в основном поставили верные диагнозы (точность 96 %)[162] и не дали ни одного ошибочного – положительного ответа. Однако немалое число мельчайших раковых клеток, скрытых в тканях, проскочило мимо их внимания – они рассматривали снимки тридцать часов, но обнаружили лишь 73 % таких изменений.

Дело вовсе не в колоссальном объеме пикселей, которые необходимо охватить взглядом. Люди могут запросто прозевать очевидные аномалии, глядя прямо на них. В 2013 году ученые из Гарварда наложили на некоторые снимки грудной клетки изображение гориллы и предложили двадцати четырем не ожидавшим такого подвоха рентгенологам изучить снимки на предмет обнаружения рака. Восемьдесят три процента докторов гориллы не приметили, хотя система слежения за движениями глаз показала, что многие смотрели на нее в упор[163]. Снимок приведен выше – можете попробовать сами[164].

У компьютеров проблема противоположная. Они будут азартно отбирать группы измененных клеток, даже абсолютно здоровых на самом деле. Так, в ходе матча CAMELYON16 лучшая из представленных нейросетей выявила рак с достойной восхищения точностью 92,4 %, но при этом выдала восемь ложноположительных результатов на образец, ошибочно пометив здоровые группы клеток как подозрительные[165]. При столь низкой избирательности самые передовые современные программы явно склонны вешать раковый бейджик на каждую грудь и пока не могут давать собственное полноценное гистологическое заключение.

Впрочем, есть и хорошая новость: никто и не просит их это делать. Мы намерены объединить усилия человека и машины. Программа выполняет черную механическую работу – просматривает снимки и собирает огромный пул данных, отмечая некоторые критические области. Затем за дело принимается диагност-патолог. Даже если компьютер пометит клетки, которые на самом деле раковыми не являются, не страшно – врач сможет быстро все оценить и отсеять нормальные образцы. Такой алгоритмический подход к совместному предварительному скринингу позволяет не только сберечь время, но и достичь почти невероятных высот в точности диагностики – 99,5 %[166].

Как ни волшебно все это звучит, факт тот, что агрессивные опухоли врачи всегда находили безошибочно. Самыми каверзными оказываются промежуточные случаи, когда разница между раком и не раком не так бросается в глаза. Может ли и здесь помочь алгоритм? Вероятно, да. Но он не должен пытаться поставить диагноз с помощью профессиональных приемов, привычных для патолога. Однако алгоритм, который гораздо лучше умеет выискивать скрытые в тканях патологии, наверное, мог бы предложить более подходящий вариант сотрудничества – делать то, на что не способен живой доктор.

Эксперимент с монахинями

В 1986 году Дэвиду Сноудону, эпидемиологу из Университета Кентукки, удалось добиться от 678 монахинь разрешения использовать их мозг в научных целях. Монахини из католической Школы сестер Нотр-Дам согласились принять участие в оригинальном исследовании Сноудона, который изучал причины болезни Альцгеймера.

Все эти женщины (на момент начала эксперимента им было от 75 до 103 лет) каждый год, до конца жизни, проходили тесты на проверку памяти. После их смерти можно было исследовать их мозг. Они пообещали Сноудону, что позволят его сотрудникам изъять их самый ценный орган для анализа на признаки болезни Альцгеймера, независимо от того, проявлялась у них деменция или нет[167].

Благодаря щедрости тех монахинь ученые получили уникальную информацию. Поскольку ни одна из женщин не имела детей, не курила и не злоупотребляла алкогольными напитками, можно было исключить внешние факторы, которые, как считается, повышают шансы на развитие болезни Альцгеймера. А поскольку все они придерживались одинакового образа жизни и всем в равной степени оказывалась медицинская и социальная помощь, с их стороны условия эксперимента соблюдались аккуратно.

Все шло по плану, но спустя несколько лет ученые поняли, что из эксперимента с этой группой испытуемых можно извлечь бесценную информацию другого рода. В молодости, прежде чем дать монашеский обет и быть принятыми в сестринство, эти женщины, многие из которых ныне достигли преклонного возраста, должны были представить в письменном виде свою автобиографию. Они писали о себе, когда им было в среднем по двадцать два года, за несколько десятков лет до проявления каких-либо симптомов деменции. Поразительно, но ученые заметили в их сочинениях намеки на их далекое будущее.

Ученые обнаружили связь между тем, насколько богатым и образным языком тогда еще молодые девушки выражали свои мысли, и вероятностью развития у них деменции в старости.

Вот цитата из автобиографии одной монахини, прекрасно сохранившей когнитивные способности:

После восьмого класса, в 1921 году, я мечтала поступить в сестринскую общину Манкейто, но не осмеливалась заговорить об этом с родителями. Тогда сестра Агреда попросила их за меня, и мои родители охотно дали согласие.

Сравните с другой фразой, которую когда-то написала будущая монахиня, чья память на склоне лет неуклонно слабела: “После школы я работала на почте”.

Корреляция была настолько четкой, что исследователи могли прочесть эти тексты и предсказать, кому из авторов грозит деменция. Девяносто процентов монахинь с болезнью Альцгеймера в молодости показали “низкий уровень владения языком”, и лишь у 13 % из сохранивших в старости полноценные умственные способности, автобиографии отличались “низкой плотностью мыслей”[168].

Этот эксперимент показал, в частности, как много нам еще предстоит узнать о нашем организме. Мы поняли, что такая связь возможна – но каковы ее причины? Действительно ли качественное образование предотвращает деменцию? Или тем, у кого есть склонность к развитию болезни Альцгеймера, удобнее обходиться примитивными фразами? Однако по результатам исследования можно предположить, что болезнь Альцгеймера развивается в течение нескольких десятилетий.

Для нас сейчас важнее тот вывод, что еще за годы до проявления первых симптомов заболевания нежданно-негаданно полученные крупицы информации позволяют сделать осторожный прогноз о состоянии нашего здоровья в последующие годы. Все это дает повод задуматься о могуществе медицинских алгоритмов будущего, которые могли бы раскапывать информацию. Может статься, когда-нибудь они научатся распознавать признаки онкологических заболеваний за несколько лет до того, как их заметят врачи.

Предсказательные силы

В конце 1970-х годов, в датской провинции Рибе, группа патологов приступила к двусторонней мастэктомии у трупов. Возраст 83 умерших женщин варьировался от 22 до 89 лет, причем 6 из них скончались от инвазивного рака груди. Естественно, когда изъятые органы подготовили к исследованию – то есть рассекли каждую молочную железу на четыре части и взяли тонкие срезы для изучения на стеклах – в этих шести образцах были отмечены характерные изменения. Но к огромному удивлению исследователей, настораживающие признаки рака груди, которые обычно врачи лабораторной диагностики выискивают у живых пациенток, обнаружились почти у каждой четвертой из остальных 77 женщин, хотя они умерли совершенно по другим причинам – например, от сердечно-сосудистых заболеваний или в автомобильной катастрофе.

У четырнадцати, не имевших при жизни никаких симптомов болезни, нашли клетки рака in situ, не вышедшего за пределы млечных протоков и железы. Те самые клетки, из-за которых их носительницам при жизни поставили бы диагноз “рак груди”. У троих обнаружили атипичные клетки – тоже повод для беспокойства при биопсии, – и у одной оказался самый настоящий инвазивный рак, при том что до самой смерти она об этом даже не догадывалась[169].

Эти цифры всех удивили, но они не были ошибкой эксперимента. Похожие результаты получили и другие исследователи. Действительно, по некоторым оценкам, около 9 % женщин ходят с раковой опухолью в груди, ничего не подозревая[170], – это примерно в десять раз больше той доли женщин, у кого диагностируются злокачественные новообразования в молочной железе[171].

В чем же дело? Неужели мы и впрямь имеем тихую эпидемию? Нет, считает доктор Джонатан Каневски, новатор в области медицины, хирург из канадского Университета Макгилла. Во всяком случае, не совсем. Потому что не всегда надо волноваться из-за того, что обнаружен рак:

Если в организме есть раковые клетки, иммунная система может идентифицировать их как мутировавшие, немедленно бросится в атаку и постарается их уничтожить – такой рак не разовьется до угрожающего состояния. Но иммунная система может разладиться, в таком случае организм позволяет опухоли расти и развиваться. Вот тогда рак может вас убить[172].

Новообразования развиваются по-разному. С одними разберется ваш организм, другие так и будут вести себя более или менее спокойно до вашей кончины, третьи перерастут в агрессивные, ярко выраженные раковые опухоли. К сожалению, зачастую мы не можем угадать, чем грозит то или иное новообразование.

Именно по этой причине коварные промежуточные состояния между доброкачественной опухолью и запущенным раком могут создать нам массу проблем. Это всего лишь классификация, и врачи должны руководствоваться ею, но, если какие-то клетки в биоптате вызовут подозрения у врача, выбранная категория просто поможет описать текущую картину. Не факт, что можно будет дать прогноз относительно того, что вас ждет. Однако пациента, безусловно, больше всего волнует прогноз.

В итоге врачи и пациенты нередко проявляют излишнюю предусмотрительность при выборе лечения. Возьмем, к примеру, рак in situ. Эта стадия приближается к более опасной области спектра – опухоль растет, но пока еще не задевает прилегающие ткани. Дело нешуточное, но до смертельно опасной стадии преинвазивный рак in situ дойдет лишь в одном случае из десяти. Тем не менее в США каждой четвертой женщине с таким диагнозом грозит тотальная мастэктомия – тяжелая операция с очень серьезными последствиями для ее физического и психологического состояния[173].

В самом деле, чем глубже и основательнее проводится скрининг молочных желез, тем сильнее это сказывается на тех женщинах, которые иначе жили бы счастливо, даже не думая ни о каких новообразованиях. Группа независимых ученых из Великобритании пришла к выводу, что для 43 из каждых 10 000 женщин, которые в ближайшие двадцать лет пройдут маммографию, удастся предотвратить смерть от рака груди. А согласно результатам исследования, опубликованным в New England Journal of Medicine, опасные для жизни опухоли будут выявлены у 30 из каждых 100 000 женщин, явившихся на плановую маммографию[174]. Но, в зависимости от источника статистических данных, втрое или даже вчетверо больше женщин будет лечиться от опухолей, вовсе не представляющих опасности[175].

Если вы хорошо умеете находить отклонения от нормы, но плохо представляете себе дальнейшее развитие заболевания, вам будет трудно бороться с перегибами в диагностике и выборе методов лечения. И все-таки надежда есть. Иногда, как и с автобиографиями монахинь, в старых и более свежих данных о пациенте удается заметить кое-какие ориентиры, позволяющие предположить, что будет с его здоровьем спустя несколько лет. В таком случае поиск подобной информации – самая подходящая работа для нейросети.

На поле боя, где врачи десятилетиями бьются над вопросом, почему одно отклонение от нормы опаснее другого, алгоритм, которому не разъяснили, что именно искать, может проявить себя с лучшей стороны. Если только вам удастся собрать для обучения алгоритма достаточно обширную коллекцию снимков биоптатов – как неизбежно метастазирующих (то есть поражающих и другие органы) опухолей, так и не дающих метастазов, – абсолютно свободный от теоретических предубеждений алгоритм смог бы выудить скрытые наводки на прогноз вашего здоровья. Как говорит Джонатан Каневски, “алгоритму вполне по силам найти на каждом изображении характерные особенности, по которым будет понятно, даст ли опухоль метастазы”[176].

С таким алгоритмом тип биоптата уже не имеет ключевого значения. Уже не так интересно, почему да отчего – вы сразу получаете ответ на самый волнующий вопрос: нужно вам лечиться или нет?

Отрадно, что подобные алгоритмы разрабатываются. Уже знакомый нам патолог из Гарварда и директор компании PathAI Энди Бек недавно опробовал свой алгоритм на серии образцов, взятых у пациентов из Нидерландов, и обнаружил, что самые точные прогностические показатели выживаемости были получены не из биоптатов опухоли, а из образцов прилегающих тканей с отклонениями от нормы[177]. Это большой шаг вперед – впечатляющий пример самостоятельной исследовательской работы алгоритмов и подтверждение их способности находить паттерны, благодаря чему наши прогнозы становятся более надежными.

Само собой, при этом мы получаем колоссальный объем информации. Благодаря массовым маммографическим обследованиям в разных странах мы имеем больше снимков молочных желез, чем любого другого органа. Я не врач клинической диагностики, но все специалисты, с кем я говорила, уверяли меня, что уже в обозримом будущем мы сможем достоверно предсказывать, переродится ли сомнительное новообразование в рак. Очень может быть, что к тому времени, когда моя книга выйдет в мягкой обложке, кто-нибудь где-нибудь уже воплотит в жизнь эту революционную идею.

Цифровая диагностика

Все это касается не только рака груди. Нейросетям, которые создают Энди Бек и другие ученые, все равно, что разглядывать. Вы можете велеть им расписать по классам что угодно – собак, головные уборы, сыры. Они научатся, лишь бы вы дали им понять, когда они угадали, а когда нет. Теперь, когда алгоритмы этого семейства стали достаточно хороши для практического применения, они вмешиваются в самые разные области современной медицины.

Одно из недавних достижений принадлежит команде проекта Google Brain (“Гугл-мозг”), создавшей программу для скрининга на диабетическую ретинопатию – самую распространенную причину потери зрения, которую, однако, можно предупредить. При этой патологии поражаются сосуды в светочувствительной зоне глаза. Если это осложнение выявлено, зрение удастся спасти с помощью инъекций, но, если его вовремя не обнаружить, последствия будут необратимы. В Индии, где не все могут получить квалифицированную помощь в диагностике этой патологии, 45 % людей с диабетической ретинопатией обречены на частичную потерю зрения еще до того, как они узнают о своем состоянии. Сегодня алгоритм, разработанный сотрудниками Google Brain совместно с индийскими медиками, диагностирует диабетическую ретинопатию не хуже офтальмолога.

Существуют такие же программы для диагностики сердечно-сосудистых заболеваний[178], эмфиземы легких[179], инсульта[180] и меланомы[181]. Созданы даже такие системы, которые распознают полипы прямо во время колоноскопии.

Факт тот, что если можно сделать снимок и пометить изображение патологического изменения, то можно и создать алгоритм, который его найдет. Вероятно, тогда удастся поставить диагноз более точно, а может, и раньше, чем это сделает человек.

Но как быть с другими медицинскими данными, подчас имеющими странные форматы? Можно ли расширить возможности алгоритмов, так чтобы они решали не только какие-то конкретные задачи в узких областях? Скажем, можно ли создать программу для расшифровки каракулей вашего доктора? Или такую, которая выловит самые мелкие характерные детали в ваших жалобах на боль?

Как вам такая картина из жанра научно-медицинской фантастики: в приемной врача вас внимательно выслушивает компьютер, и он же изучает вашу историю болезни? Можно ли представить себе машину, в совершенстве владеющую всеми тонкостями самой современной диагностики? Машину, которая ставит точный диагноз и предлагает индивидуально подобранный план лечения?

Иначе говоря, можно ли создать нечто вроде маленького компьютерного доктора Ватсона?

Элементарно, Ватсон!

Однажды в 2004 году Чарльз Ликел ужинал с коллегами в нью-йоркском ресторане. Где-то посередине трапезы он заметил, что народу в зале поубавилось. Чарльз удивился, пошел вслед за всеми и увидел столпившихся перед телевизором людей, увлеченно наблюдавших за популярным шоу Jeopardy![182]. Знаменитый чемпион Кен Дженнингс, который выигрывал уже полгода кряду, готовился побить собственный рекорд, и зрители не хотели пропустить это событие.

Чарльз Ликел был вице-президентом IBM по программному обеспечению. Прошло несколько лет с тех пор, как Deep Blue обыграл в шахматы Гарри Каспарова, и все это время руководство IBM жаждало получить от Чарльза новую оригинальную идею, достойную внимания корпорации. Там, в нью-йоркском ресторане, видя, с каким азартом его компаньоны следят за победителем телевикторины, Ликел и задумался о том, нельзя ли создать компьютер, который обставил бы Дженнингса.

Задача не из легких. Целых семь лет, с того самого ужина, Чарльз Ликел вынашивал концепцию компьютера, впоследствии получившего название Watson. И в конце концов в специальном выпуске телешоу Watson сразился с Кеном Дженнингсом и одержал уверенную победу над человеком в его же игре. По ходу дела команда IBM твердо решила попытаться сконструировать первый в мире полнофункциональный компьютер-диагност. Скоро мы к этому вернемся. Сначала я объясню вам основной принцип деятельности машины-победителя, который лег в основу алгоритма для медицинской диагностики.

Справка для тех, кто впервые слышит об этой игре: Jeo-pardy! – популярное в Америке телевизионное шоу, так сказать, викторина наоборот, когда трем игрокам задают вопросы в форме толкования слова, то есть как бы ответа, а свои ответы они должны сформулировать в виде вопросов. Например, в теме “Слова, содержащие в себе противоречия”, может быть такой вопрос:

Крепление для соединения вещей; или это могло бы означать “согнуть”, “деформировать при нагревании или силой и нечаянно продавить”.

Чтобы дать верный ответ (What does “buckle” mean?[183]), электронному игроку надо было научиться прорабатывать несколько уровней. Прежде всего компьютеру пришлось бы достаточно хорошо освоить язык, чтобы извлечь какой-то смысл из формулировки задания и понять, что все эти слова: “крепление”, “соединение”, “согнуть”, “деформировать” и “нечаянно продавить” – являются независимыми элементами подсказки. Для алгоритма это уже само по себе большая работа.

Но это только первый шаг. Далее Watson должен был выбрать потенциальные варианты ответа для каждой подсказки. Со словом “крепление” ассоциировались самые разные ответы – зажим, пуговица, штифт, завязки и, в частности, пряжка. Watson должен методично рассмотреть все варианты и сопоставить их с другими подсказками. Вряд ли вы найдете очевидную связь между словами “штифт” и “погнуть” или “деформировать”, а вот пряжка, безусловно, ассоциируется с этими глаголами, поэтому у компьютера больше оснований выбрать этот ответ. В конце концов, собрав воедино все аргументы, Watson должен перейти от слов к делу и выдать однозначный ответ.

Конечно, играть в слова проще, чем разбираться с медицинскими диагнозами, но логическая схема одна и та же. Допустим, вы обратились к врачу с жалобами на беспричинное похудание, боли в животе, да еще с изжогой. Как и в телевизионном шоу, ставится задача определить вероятные диагнозы (ответы), которые объясняли бы симптомы (сведения в вопросе), найти дополнительные аргументы в пользу каждого варианта и, по мере поступления дополнительной информации, отдать предпочтение одному из возможных ответов. В медицине это называется дифференциальной диагностикой. В математике – байесовским выводом.[184]

Не так-то просто было разработать электронного доктора Ватсона, хотя игрок Watson уже существовал и успешно выступил в викторине. Тем не менее IBM объявила о своем намерении заняться медициной и скромничать не стала. Корпорация оповестила весь мир, что Watson исполнит высокую миссию – “искоренит рак”, а рекламировать “один из самых мощных инструментов, когда-либо созданных человечеством”, пригласила известного актера Джона Хэмма.

“Медицинская утопия” должна бы нас воодушевить. Только вот Watson, как вы уже, вероятно, знаете, не выполнил громких обещаний.

Первый престижный контракт был заключен в 2016 году с Онкологическим центром им. М. Д. Андерсона Техасского университета. Ходили слухи, что, несмотря на 62 миллиона долларов инвестиций в разработку технологии[185][186] и четыре года работы, электронный Ватсон не продвинулся дальше пробных испытаний, которые проводились под жестким контролем. Позже, в сентябре 2017 года, сайт медицинских новостей STAT сообщил, что Watson “не может пока преодолеть первый этап и все еще учится различать формы онкологических заболеваний”[187].

А жаль.

Справедливости ради надо сказать, что были и успехи. В Японии Watson определил у одной пациентки редкую форму лейкемии, при том что врачи не смогли поставить диагноз[188]. А анализы, которые провел Watson, помогли обнаружить пять генов, связанных с заболеванием двигательных нейронов, боковым амиотрофическим склерозом (БАС)[189]. Но в общем и целом программисты IBM не сумели поддержать энтузиазм своего восторженного отдела маркетинга.

Любые попытки создать такую машину всегда вызывают одобрение. Теоретически возможно сделать компьютер, который сможет поставить диагноз – и даже предложить обоснованный план лечения, – и это достойная цель. Но и труднодостижимая. Это гораздо сложнее, чем выиграть в викторине, и несопоставимо сложнее, чем опознать на изображении раковые клетки.

Казалось бы, от уже известных нам алгоритмов распознавания образов, способных видеть рак, до многоцелевой диагностической машины всего один логический шаг, но у тех алгоритмов есть большое преимущество – им предлагают для анализа те самые клетки, которые могут быть причиной болезни. Диагностический компьютер, напротив, получает не первичную, а неоднократно переработанную информацию. Возможно, у пациента покалывает в конечностях, потому что у него возник мышечный спазм, потому что защемило нерв, потому что пациент поднял что-нибудь слишком тяжелое. Или у него кровь в кале, потому что он страдает геморроем, потому что у него запор, потому что он неправильно питается. Для того чтобы поставить верный диагноз, алгоритму (и доктору) надо раскрутить назад всю цепочку, начиная с одного симптома. Что и должен сделать Watson. Невообразимо сложная задача.

А ведь есть и другие трудности.

Помните нейросеть, которая различала волков и собак? Ее легко было обучить. Программистам достаточно было запастись пачкой фотографий с собаками и волками, пометить их и показать компьютеру. Простые данные, не допускающие двоякого толкования. Но, как сказал журналу Массачусетского технологического института MIT Technology Review специалист по компьютерной диагностике, патолог Томас Фукс, “в такой специфической области, как медицина, для того чтобы правильно разметить информацию, которую вы загружаете в компьютер, требуются люди с огромным опытом работы”[190].

При решении узких задач – скажем, когда в биоптатах, взятых для исследования на рак молочной железы, надо отличить “доброкачественное” новообразование от “опасной формы рака” – это еще можно организовать. Но универсальный диагностический компьютер, такой как Watson, должен разбираться практически во всех без исключения диагнозах. Для этого целая армия “дрессировщиков” самого высокого уровня должна в течение долгого времени снабжать машину информацией о пациентах и разнообразных специфических симптомах их заболеваний. Вообще-то этим людям есть чем заняться – например, спасением жизни других людей.

Итак, мы подходим к последнему препятствию. Его преодолеть сложнее всего.

Проблема данных

Родители Тамары Миллз заметили, что она как-то не так дышит, еще когда она была совсем малюткой. К девяти месяцам врачи нашли у нее астму – недуг, которым страдают 5,4 миллиона граждан Великобритании и 25 миллионов американцев[191]. Хотя Тамара была младше большинства своих товарищей по несчастью, в первые годы ее жизни болезнь удавалось контролировать, и она точно так же росла и играла на морском берегу северной Англии, как и другие дети-астматики, – не расставаясь, впрочем, с ингалятором.

В восемь лет Тамара подхватила ужасный свиной грипп. Оказалось, что для ее здоровья это был поворотный момент. Одна за другой пошли легочные инфекции. Иногда во время приступов астмы у нее синели губы. Но сколько Тамара с мамой ни обращались к ее лечащему врачу и в местную больницу, сколько ни жаловались ее родители на то, что она расходует ингаляторы быстрее, чем было бы положено[192], никто из докторов не направил ее к специалисту.

Однако ее родные и учителя понимали, что дело принимает серьезный оборот. После двух приступов, едва не стоивших Тамаре жизни, и последующей госпитализации девочку освободили от уроков физкультуры. Потом лестница в доме стала чересчур крутой для нее, и она переселилась в одноэтажный летний домик бабушки с дедушкой.

Десятого апреля 2014 года Тамара в очередной раз заболела. Ночью дедушка увидел, что она дышит с трудом. Он вызвал скорую и постарался хоть как-то ей помочь, используя два ингалятора и кислородный баллон. Тамаре становилось все хуже и хуже. Позже той же ночью она умерла, ей было всего тринадцать лет.

Астма – вовсе не фатальный диагноз, тем не менее ежегодно в Великобритании от этой болезни умирают 1200 человек, из них 26 детей[193]. По некоторым оценкам, две трети этих смертей можно предотвратить – как можно было не допустить гибели Тамары. Но спасение людей целиком и полностью зависит от того, удастся ли заметить тревожные симптомы и будут ли приняты соответствующие меры.

В течение четырех лет, предшествовавших последнему, смертельному, приступу, Тамара обращалась к лечащему врачу и в больницу не менее сорока семи раз. Очевидно, та терапия, которую ей проводили, не давала эффекта, но каждый раз, когда она попадала на прием, врачей интересовало только ее нынешнее состояние. Ни один из них не пытался изучить проблему в комплексе. Ни один не пытался на основании ее визитов составить характерную картину болезни; ни один не обратил внимания на то, что состояние девочки стабильно ухудшалось; ни один не подумал, что пора попробовать какие-нибудь новые методики[194].

На то есть причина. Хотите верьте, хотите нет (те, кто проживает в Англии, должно быть, охотно верят), но Государственной службой здравоохранения Великобритании не предписано систематически собирать воедино медико-санитарную документацию. Если вы попадете в государственную больницу, о ваших прежних визитах к семейному доктору врачи ничего не узнают. Многие записи так и остаются только на бумаге, то есть в течение десятков лет медики обмениваются информацией по старинке. Отчасти поэтому британская Служба здравоохранения снискала сомнительную славу основного потребителя аппаратов факсимильной связи[195].

Как ни странно, мы не одиноки. В США нет недостатка в частных докторах и крупных больничных сетях, но они никак не взаимодействуют друг с другом, и, если кое-где – например, в Германии – электронные медицинские карты уже существуют, еще очень нескоро это станет нормой во всем мире. В случае с Тамарой Миллз отсутствие обобщенной, цельной истории болезни привело к тому, что доктора, каждый сам по себе, просто не имели возможности увидеть, насколько серьезно положение. К сожалению, Тамаре никакие меры уже не помогут, но в будущем медицине придется устранить этот чудовищный изъян системы. Такие машины, как Watson, могли бы спасти многих Тамар, однако вывести из полученных данных характерную картину патологии можно будет только тогда, когда все данные будут собраны, систематизированы и взаимоувязаны.

Какой разительный контраст между обширными и детализированными массивами информации, которой владеют брокеры данных, и скудными, разрозненными подборками в системе здравоохранения! На сегодняшний день в медицинских данных царит хаос. Даже если собрать медкарты со всеми подробностями где-нибудь в одном месте, что делается далеко не всегда, они могут содержать сведения в каком угодно виде, и просто невозможно скомпоновать информацию в удобном для алгоритма формате. Это и снимки, полученные при компьютерной томографии, и всевозможные пометки, анамнез, рецепты, примечания, и так до бесконечности. Вопрос еще, как записываются данные. Надо понимать, что означают сокращения и аббревиатуры, надо разобрать почерк и учесть вероятность человеческих ошибок. И ведь до симптомов дело еще даже не дошло. Что значит “простудился”? Температура поднялась? Или у этого человека сильный кашель? “Рези в животе” – что имеется в виду? Острая, мучительная боль или покалывает, но терпимо? Суть в том, что медицина – наука запредельно сложная, и с каждым уровнем сложности компьютеру все труднее и труднее получить информацию[196].

Первоклассные специалисты, которые решили разобраться в бессистемной мешанине данных по здравоохранению, нашлись не только в IBM. В 2016 году компания DeepMind, которая занимается искусственным интеллектом под эгидой Google, заключила контракт с лондонским филиалом Государственной службы здравоохранения Великобритании (Royal Free NHS Trust). В распоряжение DeepMind предоставили медицинские данные из трех городских больниц, а за это компания должна была создать приложение, которое помогло бы врачам диагностировать острую почечную недостаточность. Поначалу предполагалось, что умный алгоритм машинного обучения поможет лечить людей, но для достижения этой цели не хватило полноценных сведений, и исследователям пришлось умерить свои амбиции и упростить задачу.

В ходе совместной деятельности DeepMind и медицинского ведомства возникли трудности не только чисто практического свойства, но и куда менее однозначные. Исследователи обещали только предупреждать докторов об острых заболеваниях почек, но у Государственной службы здравоохранения не нашлось конкретных данных по почечным болезням. Поэтому DeepMind получила доступ ко всей информации – к историям болезни 1,6 миллиона пациентов за истекшие пять лет.

Вроде бы, имея такой колоссальный объем информации, можно было бы спасти огромное множество жизней. Каждый месяц от острой почечной недостаточности умирает тысяча человек, и DeepMind, обладая данными за длительный период, могла бы выявить в прошлом важные тенденции. Кроме того, поскольку острые заболевания почек чаще встречаются у людей с сопутствующими патологиями, обширный набор данных существенно облегчил бы поиск характерных признаков и ниточек, которые позволят дать прогноз на будущее для пациента.

Однако общество встретило новость о проекте отнюдь не радостными возгласами, а негодованием, и вполне обоснованным. То, что DeepMind завладела всем архивом данных, означало буквально следующее: компании сообщили, кто и когда лежал в больнице; кто посещал больных; раскрыли результаты гистологических исследований и заключения рентгенологов; сообщили, кто делал аборт, лечился от депрессии, даже у кого нашли ВИЧ. А что хуже всего – никто не спросил пациентов, не против ли они, у них не было шанса отказаться от участия в проекте, им вообще не сказали, что они задействованы в исследовании[197].

Следует уточнить, что Google не имел права использовать эту информацию в каких-либо иных целях. Да и, честно говоря, – интернет-гигант гораздо больше преуспел в защите данных, чем Государственная служба здравоохранения, в лечебных учреждениях которой в 2017 году зависли компьютеры, потому что на них все еще стояла Windows XP и они подверглись атаке северокорейского вируса-вымогателя[198]. И все же становится неуютно, оттого что чрезвычайно могущественной компании, мировому лидеру на рынке технологий, известна вся наша – подноготная.

Проблема врачебной тайны

Если говорить начистоту, Google не испытывает недостатка в сведениях о нас и нашей исключительно личной жизни. Но к медицинским картам мы интуитивно относимся по-другому – как к закрытой информации.

Человек с безупречной медицинской книжкой, возможно, не сразу поймет, о чем речь: в конце концов, что вы скорее предпочли бы сделать достоянием гласности – свою медкарту или историю поиска в браузере? Я не задумываясь выбрала бы первое и подозреваю, что многие со мной согласятся. Не то чтобы я боюсь раскрыть какую-то особенно пикантную тайну о себе, но если первое – это бесстрастное представление обо мне как биологическом организме, то второе раскрывает непосредственно мой характер.

Даже если в медицинской истории нет ничего, что могло бы вас смутить, это все равно особый случай, полагает Тимандра Харкнесс, автор книги “Большие данные: размер имеет значение?” (Timandra Harkness, Big Data: Does Size Matter?), ведущая программы “Проверка будущего” (Future Proofing) на BBC Radio 4.

“Начать с того, что в медицинских картах часто содержатся какие-то сведения о жизни людей, – сказала она мне. – Например, в Великобритании каждая третья женщина делала аборт – вероятно, не все в их окружении знают об этом”. Кроме того, говорит Харкнесс, анамнез может касаться не только вас лично: “Если кто-то получает ваши генетические данные, заодно этот кто-то узнает кое-что о ваших родителях, детях, сестрах и братьях”. А раз информация ушла, уже ничего не поделаешь. “Вы не сможете ни изменить, ни опровергнуть биологические данные о себе. Если у вас взяли пробу на тест ДНК, назад пути нет. Можно сделать пластическую операцию на лице, надеть перчатки, чтобы не оставлять отпечатки пальцев, но ваша ДНК никуда не денется. Ссылка на вас останется навсегда”.

Почему это важно? Тимандра рассказала мне, как в 2013 году она возглавляла одну фокус-группу – обычных людей спросили, что их больше всего беспокоит в связи с медицинскими данными. “Мало кто волновался из-за утечки данных. В основном все боялись, что о них лично будут судить точно так же, как о группе в целом”.

В первую очередь участников опроса тревожила мысль, что эти сведения будут использованы против них. “А вдруг кто-нибудь свяжет мою скидочную карточку из супермаркета с медицинской картой? И когда мне понадобится операция на шейке бедра, доктор может сказать: «Судя по всему, вы любите пиццу и покупаете много сигарет – мне очень жаль, но боюсь, мы будем вынуждены записать вас в конец листа ожидания»”.

В Великобритании есть чего опасаться: в некоторых государственных больницах, сидящих на голодном финансовом пайке, уже сейчас при операциях на коленных и тазобедренных суставах дают преференции некурящим пациентам[199]. Во многих странах причиной отказа в страховке и лечении может стать ожирение[200].

Тут возникает дилемма. Если открыть алгоритмам доступ к медицинским картам, люди как биологический вид могли бы получить колоссальные бонусы. Электронный Ватсон должен быть создан. Хотя, если он станет реальностью, придется рассказать о наших болезнях могущественным корпорациям, способным провести нас через все узкие места, которые встретятся нам на пути к чудесному компьютерному доктору. Но, нарушая конфиденциальность, мы искушаем судьбу, ведь информацию о нас можно исказить, украсть или обратить нам во вред. Вы готовы на такой риск? Верите ли вы в эти алгоритмы и в их достоинства до такой степени, чтобы пожертвовать своим личным пространством? Или, если уж дело до этого дойдет, вы будете предельно осторожны?

Генетические поддавки

Фрэнсис Гальтон занимался статистикой в викторианскую эпоху, изучал наследственность у людей, был одним из самых выдающихся представителей своего поколения – и троюродным братом Чарльза Дарвина. Его идеи оказали огромное влияние на современную науку, и не в последнюю очередь – на современную статистику, в основе которой фактически лежит его работа. Так что мы многим ему обязаны. К сожалению, он принимал также горячее участие в зарождении евгеники – вот за это мы не скажем ему спасибо.

Гальтон хотел изучать особенности человеческого характера по точным данным и уже в те времена понимал, что полезную информацию можно извлечь только из очень большого объема сведений. Кроме того, ему было известно, что люди жаждут знать все о своем теле. Он понял, что, если хорошенько подогреть их неуемный интерес к мнению профессионала о своем организме, любопытство может оказаться сильнее нежелания раскрывать свои секреты. Более того, многие из них не прочь заплатить за то, чтобы удовлетворить свое любопытство.

Поэтому, когда в 1884 году в Лондоне, при поддержке королевы Виктории, открылась громадная выставка достижений Великобритании в области медицины, Гальтон постарался не упустить прекрасный шанс. Надеясь заманить хотя бы нескольких человек из миллиона посетителей выставки, готовых расстаться с небольшой суммой ради того, чтобы их обмерили, он на собственные средства оборудовал павильон и назвал его “Антропометрическая лаборатория”.

Народу пришло гораздо больше, чем он ожидал. Выстроилась очередь, двери осаждали простодушные клиенты, мечтавшие отдать свои три пенса за вход. В лаборатории можно было с помощью специальных приспособлений испытать свои способности – в частности, остроту зрения, точность глазомера, силу рук и резкость удара кулаком[201]. Предложение пользовалось таким успехом, что Гальтону пришлось принимать людей по двое. Довольно быстро он заметил, что детей и родителей лучше тестировать порознь, чтобы не тратить время на уязвленное самолюбие. Позже он писал в статье: “Старшим не нравилось проигрывать молодежи, и они требовали повторить испытания”[202].

Каждый участник эксперимента унес с собой белую карточку для домашнего архива с записанными на ней результатами, какие бы они ни были. Но главный выигрыш достался Гальтону. Помимо солидной выручки он получил полный комплект копий всех результатов – бесценную подборку биометрических показателей 9337 человек.

Перенесемся на сто тридцать лет вперед – и вероятно, вы заметите нечто подобное в современных методах генетических анализов. Можете отправить свою слюну в биотехнологическую компанию 23andMe, которая занимается геномными исследованиями, и по сходной цене – за 149 фунтов – получить исчерпывающее описание своих генетических особенностей, включая тип ушной серы и наличие у вас генов, отвечающих за сращение бровей на переносице[203] или рефлекторное желание чихнуть при взгляде на солнце[204]. А также ответы на более серьезные вопросы – например, о предрасположенности к раку груди и болезни Альцгеймера[205].

Между тем эта компания поступила мудро – собрала огромную коллекцию генетических данных, содержавшихся в миллионах присланных для исследования проб. Интернет-гиганты ведут себя точно так же, но в этой сделке мы отдаем наши ДНК – самую личную информацию о себе. Сформированная в итоге база данных должна принести выгоду нам всем. С точки зрения прогресса в исследовании человеческого генома это ценнейшие активы. Ученые, фармацевтические компании и некоммерческие организации всего мира стараются наладить сотрудничество с 23andMe в надежде найти в ее данных закономерности – неважно, с использованием алгоритмов или без них, – дающие ответ на фундаментальные вопросы, которые касаются всех нас: каковы наследственные причины болезней? Можно ли создать новые лекарства для людей с такими патологиями? Существует ли более эффективный метод лечения болезни Паркинсона?

Базы данных имеют и другую ценность, в самом непосредственном смысле слова. Не по доброте душевной 23andMe делает анализы, хотя, наверное, их результаты невероятно полезны для общества. С вашего согласия – а 80 % клиентов компании дают согласие – ваши анонимные генетические данные за небольшую плату будут переданы вышеупомянутым партнерским исследовательским учреждениям[206]. Вырученные деньги – не просто дополнительный доход для 23andMe, а часть бизнес-плана. Один из членов совета директоров компании сказал журналу Fast Company: “Наши долгосрочные планы не сводятся к продаже комплектов для забора проб, хотя они необходимы для получения данных на базовом уровне”. Заказывая платный генетический отчет, вы должны помнить, что не вы являетесь потребителем продукта – вы сами продукт[207].

Хочу вас предостеречь. Я бы с осторожностью относилась к обещаниям соблюсти анонимность. В 2005 году некий молодой человек, зачатый когда-то с использованием спермы анонимного донора[208], отправил на анализ тампон со своей слюной и нашел наводки в своем коде ДНК[209] – и таким образом сумел вычислить и разыскать своего биологического отца. Позже, в 2013 году, группа ученых показала в одной очень известной работе, что, если грамотно составить запрос в поиске на обычном домашнем компьютере, можно идентифицировать миллионы людей по генам[210].

Есть еще одна причина воспротивиться включению вашей ДНК в какие-либо базы данных. Хотя уже приняты законы, запрещающие дискриминацию по генетическим признакам в ее худшем варианте, и нам не грозит перспектива оказаться в обществе, где нового Бетховена или Стивена Хокинга будут оценивать по генам, а не по таланту, но в страховании жизни эти законы не работают. Никто не может потребовать от вас теста ДНК, если вы сами не пожелаете его сдать, однако в США страховщик может спросить, делали ли вы генетические анализы на предмет предрасположенности к некоторым болезням, таким как болезни Паркинсона и Альцгеймера или рак груди, и, если ответ им не понравится, вам откажут в страховке. А в Великобритании страховые компании вправе учитывать результаты генетической экспертизы на болезнь Гентингтона, если страховая сумма превышает 500 000 фунтов[211]. Конечно, вы можете и соврать – будто бы вам не делали никаких анализов, но тогда ваш страховой полис станет недействительным. Есть только один способ избежать дискриминации такого рода – вообще не сдавать генетические тесты. Иногда неведение – благо.

Едва ли найдется более ценный источник информации для – изучения проблем здоровья, чем оцифрованные геномы миллионов жителей нашей планеты. Тем не менее я для себя не планирую в ближайшем будущем делать генетические тесты. Однако очень многие делают, и абсолютно добровольно – спасибо им. По последним отчетам, 23andMe имела два с лишним миллиона генотипированных клиентов[212], а MyHeritage и Ancestry.com – и даже проект “Генография” Национального географического общества США – гораздо больше. Так что, может, и нет никакой дилеммы. Да что и говорить – продавать свои личные тайны за шанс помочь общему благому делу, пожалуй, не стоит, но узнать за ту же цену, что вы на четверть викинг, безусловно, приятно[213].

Величайшее благо?

Ладно, шучу. Нельзя рассчитывать, что решения о целесообразности генетических анализов будут приниматься с мыслью о грядущем великом прорыве в области здравоохранения. Ясно же, что никто об этом не думает, – у нас разные системы приоритетов по отношению к себе лично и ко всему человечеству.

Но это подводит нас к важнейшей заключительной теме. Если действительно возможно создать диагностический компьютер, способный подбирать схемы лечения, на кого он будет работать? На человека или на все человечество? Ведь рано или поздно придется выбирать.

Предположим, вы идете к врачу с жалобой на мучительный кашель. Возможно, вы бы и так поправились, но если вами – пациентом – займется компьютер, он может на всякий случай направить вас на рентген и анализ крови. А может быть, если вы попросите, еще и выпишет вам антибиотики. Если для алгоритма важно только ваше здоровье и хорошее самочувствие, вероятно, он сочтет прием таблеток обоснованным, пусть даже от этого вы просто поболеете на несколько дней меньше.

Но машина, первоначальная задача которой – служить обществу, возможно, примет во внимание проблему резистентности к антибиотикам. Если вам прямо сейчас ничего страшного не грозит, ваш временный дискомфорт отступит на второй план, и алгоритм даст рецепт только в случае острой необходимости. Кроме того, такой алгоритм склонен осторожнее расходовать средства и учитывать количество пациентов, ожидающих своей очереди, поэтому при отсутствии у вас более серьезных симптомов не назначит вам обследование. Откровенно говоря, он может просто порекомендовать вам выпить аспирин и перестать ныть.

Если же кандидатов на трансплантацию органа отбирает машина, которая блюдет интересы всего общества, возможно, она будет стремиться “спасти как можно больше жизней”. При этом компьютер, которого волнуете только вы, предложит другой план лечения.

В британской государственной системе здравоохранения или в страховой фирме компьютер по возможности сведет затраты к минимуму, а задачей машины, созданной для фармацевтической компании, вероятно, станет продвижение определенного препарата.

Конечно, такие напряженные ситуации, как в уголовном судопроизводстве, в медицине возникают гораздо реже. Здесь нет обвинения и защиты. В системе здравоохранения все делается ради одной и той же цели – чтобы пациентам стало лучше. Но даже здесь конкретные задачи каждого участника процесса немножко отличаются.

В любой сфере жизни, куда внедряется алгоритм, всегда устанавливается некое равновесие. Между личным благом и общественным. Между личностью и обществом. Между разными задачами и приоритетами. Проложить путь в лабиринте преференций нелегко, даже когда впереди сияет путеводная звезда – эффективное, общедоступное здравоохранение.

Но еще труднее, если конкурирующие мотивы неочевидны. Если преимущества алгоритма переоценены, а риски неясны. Если вы не понимаете, чему можно верить, а чему нет и кто окажется в выигрыше от вашей доверчивости.

Автомобили

В то памятное утро 13 марта 2004 года солнце едва вышло из-за горизонта, а посетители уже забили бар Slash X до отказа. Этот бар находится на окраине небольшого города Барстоу, расположенного между Лос-Анджелесом и Лас-Вегасом посреди пустыни Мохаве – неподалеку от места съемок того эпизода “Убить Билла 2”, в котором Ума Турман выбиралась из гроба[214][215]. Обычно в Slash X собирались ковбои и любители погонять по бездорожью, но в тот весенний день сюда съехалась совсем другая публика. Временные трибуны, построенные рядом, заполнили инженеры с горящим взором, возбужденные зрители и безбашенные гонщики – их всех объединяла общая мечта. Все они хотели первыми воочию увидеть, как беспилотный автомобиль выиграет заезд.

Организатором гонок выступило Управление перспективных исследовательских проектов Министерства обороны США (US Defence Advanced Research Projects Agency, DARPA; отдел “сумасшедших ученых” Пентагона, как его называют[216]). Это ведомство уже достаточно давно проявляло обоснованный интерес к беспилотным машинам, поскольку от придорожных фугасов и целевых ударов по военной технике гибло слишком много военнослужащих. Ранее в том же году DARPA объявило о намерении к 2015 году перевести на автономный режим треть транспортных средств, задействованных в сухопутных войсках США[217].

До сих пор дело продвигалось медленно, с большими затратами. За более чем два десятка лет ради воплощения своего плана в жизнь DARPA израсходовало на финансирование исследований в университетах и различных компаниях около полумиллиарда долларов[218]. А потом возникла гениальная идея – почему бы не устроить соревнования? Энтузиастам по всей Америке предложили сконструировать собственные модели беспилотных автомобилей и принять участие в гонках на длинной дистанции с главным призом в миллион долларов[219]. Подобных соревнований еще нигде в мире не проводилось, а для Пентагона это был бы легкий и дешевый способ вырваться вперед в решении поставленной задачи.

Проложили трассу длиной 142 мили (228,5 км), причем не самую простую. Путь машинам осложняли неровные участки, крутые склоны, крупные валуны, ямы, ложбины и диковинные кактусы. Беспилотники должны были найти грунтовую дорогу, ширина которой порой не превышала нескольких футов. За два часа до старта каждая команда получила диск с GPS-координатами[220]. Две тысячи меток были рассыпаны по маршруту, словно хлебные крошки – примерное представление о направлении движения получить можно, а знать, какие препятствия ждут машину впереди, нельзя.

Несмотря на устрашающие условия, в первый же год подали заявки 106 команд храбрецов. Пятнадцать машин прошли квалификационный этап, были признаны безопасными и допущены к старту. Одни беспилотники походили на пляжные багги, другие – на монстр-траки, третьи – на танки. Говорят, один изобретатель заложил дом, чтобы построить свою машину, а другой в стремлении к оригинальности водрузил на крышу автомобиля две доски для серфинга. Был даже самобалансирующийся мотоцикл[221].

С утра в день соревнований перед Slash X выстроился нестройный ряд машин и собрались тысячи зрителей. Одна за другой машины без водителей подкатывали к линии старта – любая из них отлично смотрелась бы в “Безумном Максе” или в “Сумасшедших гонках”. Но внешность – не главное. Им всего-то надо было пройти трассу не более чем за десять часов без участия людей.

Однако все пошло не по плану. Один автомобиль опрокинулся в самом начале дистанции, и пришлось оттащить его в сторону[222]. Мотоцикл завалился набок, едва миновав линию старта, и был снят с соревнований. Какая-то машина метров через пятьдесят врезалась в бетонную стену. Другая запуталась в заграждении из колючей проволоки. Еще одна затормозила между двумя шарами перекати-поля: приняв их за неподвижные объекты, она не знала, ехать вперед или дать задний ход – так и дергалась туда-сюда, пока не вмешались люди[223]. Остальные покатились дальше, разбиваясь о валуны и сваливаясь в ямы. Ломались оси, лопались шины, взлетали в воздух кузова[224]. Местность вокруг бара напоминала кладбище роботов.

Самый удачливый участник заезда, созданный командой Университета Карнеги-Меллона умудрился проехать целых семь миль (11 км), но неверно оценил подъем, забуксовал и, поскольку никто ему не помог, отчаянно вертел колесами, пока не загорелись шины[225]. К одиннадцати утра все закончилось. Организаторы соревнований из DARPA сели в вертолет и полетели к финишу, чтобы сообщить караулившим победителя журналистам, что ни одна из машин до них не доберется[226].

Было много пролившегося масла, пыли, шума и поломок – не было только победителя. Команды инженеров год трудились над своими моделями, которые прожили, в лучшем случае, несколько минут. Однако не надо расценивать это как полный провал. В острейшей борьбе родилась масса новаторских идей, и к 2005 году, к следующим гонкам, техника изменилась до неузнаваемости.

На этот раз прошлогодний рекорд дальности – семь миль – побили все участники, кроме одного. Все 132 мили (212 км) без всякой помощи со стороны людей одолели аж пять машин[227].

Сейчас, спустя десять с лишним лет, уже многие убеждены, что будущее транспорта за беспилотниками. В конце 2017 года канцлер казначейства Великобритании Филип Хэмммонд заявил о намерении правительства к 2021 году выпустить на английские дороги автомобили без водителей – и без страхующих операторов. Daimler пообещал создать автономные машины к 2020 году[228], Ford – к 2021-му[229], подобные предположения высказывали и другие производители.

В прессе стали рассуждать уже не о принципиальной возможности создания беспилотных автомобилей, а о том, какие проблемы придется решать, когда они будут созданы. “Должен ли ваш автомобиль сбить пешехода ради того, чтобы спасти вашу жизнь?” – вопрошала New York Times в июне 2016 года[230]. Затем в ноябре 2017-го: “Если рулить начнут машины, что будет с животными на дорогах и штрафами?”[231] Между тем Financial Times предупреждала в январе 2018-го: “Грузовой транспорт взял курс на беспилотное будущее – профсоюзы предрекают потерю работы миллионам водителей”[232].

Что произошло? Каким образом всего за несколько лет удалось совершить рывок от нежизнеспособных железяк к революционным высокотехнологичным проектам? Стоит ли ожидать дальнейшего быстрого прогресса?

Что меня окружает?

Еще в эру научной фантастики с ее реактивными рюкзаками, космическими лайнерами, серебристыми скафандрами и бластерами мы мечтали об умных машинах с полным самоуправлением. На Всемирной выставке 1939 года в Нью-Йорке корпорация General Motors продемонстрировала свое видение будущего. Смонтированные на транспортере кресла, снабженные аудиооборудованием, на шестнадцать минут уносили пристегнутых ремнями безопасности посетителей выставки в воображаемый мир[233]. Путешественники любовались через стекло футуристическим макетом GM. Многополосные автомагистрали, вдоль и поперек разлиновавшие всю страну, шоссе, соединяющие города и фермы, узкие дороги с односторонним движением, перекрестки – и повсюду снуют автоматические машины с радиоуправлением, способные ездить без аварий на скоростях до ста миль в час. “Удивительно? – спрашивал голос невидимого гида. – Фантастика? Не верится? Не забывайте – это шестидесятый год!”[234]

За много лет люди не раз и не два пытались воплотить мечту в реальность. В 1950-х годах General Motors создала модель Firebird II[235]. В 1960-х английские инженеры пробовали адаптировать Citroën DS19 так, чтобы машина взаимодействовала с дорогой, и до сих пор после их экспериментов где-то между Слау и Редингом валяется девятимильный обрывок кабеля[236]. Научить машину ездить самостоятельно пытались и в Navlab Университета Карнеги-Меллона 1980-х, ту же цель преследовали авторы миллиардного проекта Евросоюза под названием Eureka Prometheus Project 1990-х годов[237]. С каждым новым проектом казалось, еще немного – и беспилотный автомобиль поедет по улице, заветная мечта вот-вот станет явью.

На первый взгляд, сконструировать автономную машину не так уж трудно. Людей, как правило, удается научить основным навыкам вождения. К тому же выходных параметров всего два – скорость и направление. Надо лишь понимать, как сильно нажимать на газ и насколько повернуть руль. Что тут сложного?

Однако, как выяснилось на первых автогонках, организованных исследовательским подразделением Пентагона, конструирование автомобиля-беспилотника – дело гораздо более хитрое, чем кажется. Трудности возникают уже на стадии создания алгоритма для управления большой железной штуковиной на скорости под сотню километров в час.

Возьмем нейросети, которые успешно применяются в диагностике опухолей груди; вроде они могли бы помочь автомобилю без водителя “оглядеться” вокруг. К 2004 году в прототипах автономных машин уже гудели тихонько нейросети, стараясь понять, что показывают видеокамеры на крыше[238], хотя по сравнению со своими нынешними продвинутыми аналогами они были, скажем так, немножко недоразвиты. Камера, безусловно, дает весьма ценную информацию. Нейросеть может определить цвет и фактуру поверхности, даже такие физические параметры объектов впереди, как контуры, изгибы, края и углы. Спрашивается, что делать с уже полученной информацией?

Можно скомандовать машине: “Ехать только по поверхности, похожей на асфальт”. Однако для пустыни, где все дороги грунтовые, это указание не годится. Можно велеть ехать по самому гладкому участку на изображении, но вот беда: самым гладким участком почти наверняка окажется небо или остекленная стена здания. Можно охарактеризовать дорогу по абстрактным признакам, например: “Выбрать объект с двумя нечеткими прямыми границами. Расстояние между границами должно быть бо́льшим в нижней части изображения и уменьшаться по направлению к верху”. Кажется, звучит разумно. С одним только “но” – именно так на картинке выглядит дерево. Направить автомобиль в дерево – как правило, не самое рациональное решение.

Загвоздка в том, что камера не позволяет оценить масштаб и расстояние. Кинорежиссеры иногда этим пользуются – вспомните, как в начале “Звездных войн” из чернильной тьмы космоса вырисовывается звездный разрушитель и грозно зависает вверху кадра. Огромное жуткое чудовище, хотя на самом деле снимали модель длиной не более трех метров. Этот фокус отлично удается на большом экране. Но две тонкие параллельные линии могут означать как уходящее за горизонт шоссе, так и ствол стоящего поблизости дерева, и для автомобиля-беспилотника правильная оценка расстояния – это вопрос жизни и смерти.

Как выяснил еще в 1990-е годы Дин Померло, научный сотрудник Университета Карнеги-Меллона, даже если поставить больше камер и скомбинировать картинки так, чтобы получилось объемное изображение, чрезмерное доверие к нейросетям может привести к другой проблеме. Он работал с машиной, которой дали имя “Элвинн”[239] и которую учили интерпретировать обстановку по действиям водителя-человека. Сидя за рулем, Померло и его коллеги долго гоняли автомобиль по дорогам, попутно фиксируя все свои манипуляции. По созданной таким образом базе данных нейросети должны были научиться ездить там и только там, где едет человек.

Эксперимент начался великолепно. После тренировок “Элвинн” уверенно и вполне самостоятельно катил по несложной трассе. Но на пути оказался мост, и тут машина не справилась. “Элвинн” вдруг опасно вильнул, и Померло вынужден был вцепиться в руль, дабы избежать катастрофы.

Померло несколько недель анализировал ход эксперимента и в конце концов понял, в чем дело: “Элвинн” учился ездить на дорогах с обочинами, поросшими травой. Подобно нейросетям из главы “Медицина”, опознававшим волка по наличию снега на фотографиях, нейросеть автомобиля выбирала путь, ориентируясь по траве. Как только трава кончилась, машина растерялась.

Лазер, в отличие от видеокамеры, способен измерить расстояние. Машина, оснащенная системой, которая называется лидар[240] (впервые ее использовали во время второй гонки DARPA в 2005 году), выпускает с помощью лазера фотон, замеряет время его пути до препятствия и возвращения обратно после отскока и в итоге получает адекватную оценку расстояния до этого самого препятствия. Но в бочке меда есть ложечка дегтя – лидар ничего не сообщит вам о качестве поверхности и цвете, не прочтет дорожные знаки и не справится на больших расстояниях. Радар – примерно то же самое, но с использованием радиоволн, – в свою очередь, отлично работает при любой погоде, способен идентифицировать очень удаленное препятствие и даже видеть сквозь некоторые материалы, но про форму и строение объекта у него не спрашивайте.

Ни видеокамера, ни лидар, ни радар – ни один из этих источников информации по отдельности не даст полной информации о том, что окружает транспортное средство. Чтобы создать надежный беспилотный автомобиль, надо как-то заставить их работать вместе. Задача относительно простая при условии, что они описывают обстановку примерно одинаково, но в противном случае придется помучиться.

Представьте себе, что вашему робомобилю тоже встретилось перекати-поле, как той машине на первых состязаниях в пустыне. Лидар докладывает о препятствии впереди. Видеокамера согласна. Радар легко проникает сквозь неплотное растение, поэтому он считает, что волноваться не о чем. Какому детекторному устройству должен довериться алгоритм?

Что, если оставить решающий голос за камерой? Допустим, в пасмурный день вам наперерез едет большой белый грузовик. Лидар с радаром единодушно посоветуют затормозить, но камера на фоне белесого тумана может и вовсе не увидеть угрозы.

Если это вас не пугает, есть другая проблема. Вы должны учесть не только возможность неверной интерпретации окружающей обстановки, но и вероятность ошибки приборов в определении расстояний и размеров объектов.

Вероятно, вы замечали голубой кружок на картах Google в районе вашего местонахождения – он указывает на возможную погрешность GPS. Кружок может быть маленький – то есть ваше местонахождение определено точно, а иногда он охватывает достаточно большую площадь, и центр окружности вовсе не там, где надо. Чаще всего вам это не важно. Мы-то знаем, где находимся, и ложную информацию проигнорируем. Но автомобиль без водителя сам не видит, где он есть на самом деле. Когда он едет по единственной полосе движения шириной не более четырех метров, одного только навигатора недостаточно для того, чтобы удовлетворительно определить его положение на местности.

Не только GPS грешит неточностью в работе. Все данные, которые получает машина – показания радара, крен относительно поперечной и продольной осей, угловая скорость вращения колес, сила инерции, – имеют допустимые пределы ошибки измерений. Никакие результаты нельзя считать абсолютно точными. К тому же есть еще масса разнообразных помех – на данные лидара влияет дождь, проблеск солнца может ослепить видеокамеру[241][242], а длительная езда по ухабистой дороге сбивает с толку акселерометр[243].

В итоге вы получаете мешанину из противоречивых сигналов. Крайне сложно дать ответ на простые, казалось бы, вопросы – где вы, что вокруг вас и что вам делать. Понять, чему верить, почти невозможно.

Почти, но все-таки возможно.

Ибо, слава богу, со всем этим хаосом можно разобраться – существует способ извлечь из беспорядочного набора данных рациональное зерно. Нам поможет феноменально емкая математическая формула, или теорема Байеса.

Великая Церковь преподобного Байеса

Не будет преувеличением сказать, что теорема Байеса относится к наиболее важным открытиям в истории науки. Статистиков, ученых и специалистов по машинному обучению она приводит чуть ли не в религиозный экстаз. Хотя, в сущности, она предельно проста. Проста настолько, что поначалу кажется констатацией очевидного факта.

Позвольте мне объяснить вам суть идеи на самом тривиальном примере.

Представьте себе, что вы ужинаете в ресторане. И вот ваш визави, придвинувшись к вам поближе, шепотом сообщает, что видит за соседним столиком саму Леди Гагу.

Прежде чем обернуться, вы наверняка быстренько прикинете про себя, стоит ли верить этой информации. Примете во внимание известные вам объективные факторы – такие как класс заведения, расстояние до Малибу, где живет Леди Гага, острота зрения вашего друга (подруги). В таком духе. При необходимости вы могли бы дать количественную оценку этому предположению. Как бы рассчитать вероятность события.

Когда вы наконец повернете голову и посмотрите на ту даму, то рефлекторно зафиксируете факты, необходимые для проверки предложенной гипотезы. Возможно, вы как раз и ожидали лицезреть платиновую блондинку – тогда вы укрепитесь во мнении, что рядом с вами действительно Леди Гага. Но она одна, без охраны – и вы засомневаетесь. То есть каждый новый результат наблюдения влияет на совокупную оценку – события.

В этом и есть смысл теоремы Байеса – она позволяет систематически корректировать веру в гипотезу на основании имеющихся доказательств[244]. Согласно теореме, нельзя составить однозначное мнение о рассматриваемой теории, но, исходя из доступной информации, можно высказать наиболее близкие к истине предположения. Поэтому, как только вы осознаете, что на даме за столиком напротив мясное платье – наряд, который вы едва ли увидите на ком-нибудь, кроме Леди Гаги, – скорее всего, сила вашей убежденности зашкалит, и вы окончательно решите, что в ресторане действительно сидит Леди Гага.

Однако теорема Байеса не только облекает в математическую формулу манеру людей принимать решения. Она имеет гораздо более глубокий смысл. Процитирую Шэрон Берч Макгрейн, автора книги “Теория, которая вряд ли умрет”: “Байес выступает против прочно укоренившегося в сознании людей убеждения, что современная наука требует объективности и точности”[245]. Байес предложил методику измерения веры во что-либо и тем самым показал, как из беглых наблюдений, разрозненных, неполных и приблизительных данных и даже из отсутствия информации вывести обоснованные умозаключения.

Байес нужен не только для того, чтобы подтвердить наши интуитивные догадки. Оказывается, если вас попросят дать количественную оценку своей уверенности в чем-либо, вы можете прийти к контринтуитивным, то есть, на первый взгляд, противоречащим здравому смыслу выводам. Пример из главы “Правосудие” (с. 100), где потенциальными убийцами незаслуженно оказались преимущественно мужчины, объясняется теоремой Байеса. И то, что процент ошибок в анализах на рак груди говорит о возможном отсутствии онкологии, даже если такой диагноз поставлен (глава “Медицина”, с. 121), тоже объясняется теоремой Байеса. В любой области науки теорема Байеса помогает нам более четко понять суть того, что мы вообще-то знаем.

Но если вы хотите рассмотреть несколько гипотез одновременно – скажем, если надо понять по комплексу симптомов, что случилось с пациентом[246], или определить местонахождение робомобиля по показаниям приборов, – метод Байеса считается методом выбора. По идее, любой диагноз и любая точка на карте могут оказаться верными. От вас требуется только сопоставить доказательства и выбрать решение, которое представляется вам наиболее точным.

В этом смысле задача локализации автомобиля без водителя очень напоминает ту, над которой бился Томас Байес, пресвитерианский священник и талантливый математик, чьим именем названа известная теорема. В середине XVIII века он придумал игру для иллюстрации к своей задаче и описал ее правила в эссе. Я расскажу вам, что это была за игра.

Вы сидите спиной к квадратному столу. Я бросаю на стол красный шарик, так чтобы вы его не видели. Вы должны угадать, где он остановился. Это непросто: без исходной информации вы не можете даже предположить, где он мог бы быть.

Поэтому я вам помогаю – бросаю на тот же стол второй шарик другого цвета. Ваша задача та же – определить, где находится первый, красный, шарик, но на этот раз я подскажу вам, как расположен второй шарик относительно первого, то есть перед красным, сзади него, левее или правее. И вы можете скорректировать свои предположения.

Повторяем тот же ход. Я бросаю третий шарик, четвертый, пятый и каждый раз говорю вам, где они остановились относительно первого, красного, шарика – положение которого вы пытаетесь угадать.

Чем больше шариков я брошу и чем больше информации вам сообщу, тем отчетливее вы должны видеть мысленным взором красный шарик на столе. Вы не можете точно знать, где он находится, но будете уточнять свои предположения до тех пор, пока не сможете дать уверенный ответ.

В каком-то смысле автомобиль-беспилотник с его точными координатами ничем не отличается от нашего красного шарика. Вместо повернувшегося спиной к столу человека – алгоритм, который пытается угадать, где в данный момент находится автомобиль, а вместо вспомогательных шариков – источники данных, то есть GPS, инерциальные датчики и так далее. Ни один из этих источников не даст алгоритму исчерпывающей информации о положении машины, но каждый внесет свою лепту, чтобы алгоритм уточнил предполагаемый ответ. Такой метод логического заключения о координатах объекта на основании имеющихся данных – и байесовского подхода – называется вероятностным выводом. В грамотно скомпонованном виде получим еще один алгоритм машинного обучения.

К началу третьего тысячелетия, накопив достаточно опыта работы с крылатыми ракетами, космическими кораблями и самолетами, инженеры уже понимали, с какой стороны взяться за решение задачи локализации. Они по-прежнему не могли ответить робомобилю на вопрос “где я?”, но байесовский подход, по крайней мере, давал надежду.

Благодаря Байесу с 2004 года, когда первые гонки Grand Challenge оставили после себя кладбище роботов, до впечатляющей победы высоких технологий в 2005 году, когда пять разных машин сумели проехать более ста миль без участия людей, произошло множество важнейших качественных скачков. Другие насущные задачи – объяснить машине, что вокруг нее и что ей следует делать, – тоже помогли решить алгоритмы, которые работали по теории Байеса[247].

Так должна ли ваша машина сбить пешехода, чтобы спасти вас?

Давайте ненадолго остановимся на обсуждении второго вопроса. Ибо осенью 2016 года, на Парижском автосалоне, в укромном уголке переполненного посетителями выставочного зала, пресс-секретарь Mercedes-Benz сделал довольно-таки незаурядное заявление. Журналисты спросили директора по разработке систем помощи водителю и активной безопасности Кристофа фон Гуго, как беспилотный “мерседес” поведет себя при угрозе катастрофы. “Если вы видите, что хотя бы одного человека можно спасти, надо его спасать”, – ответил он.

Логично, подумаете вы. Тоже мне, открытие.

Только вот Гуго спрашивали не о дорожно-транспортных происшествиях вообще. Интервьюер хотел выяснить его отношение к хорошо известному мысленному эксперименту из шестидесятых годов, где рассматривался один особенный случай. Вопрос касался интересной дилеммы – выбора меньшего из двух зол. Это так называемая “проблема вагонетки” – в первоначальном условии задачи речь шла о неуправляемом рельсовом транспорте. Применительно к автономному автомобилю можно представить себе следующую ситуацию.

Предположим, прошло сколько-то лет, и вы, пассажир машины с автономным управлением, едете по городской улице в отличном настроении. Загорается красный сигнал светофора, однако из-за какой-то неполадки ваша машина не может затормозить. Столкновения не избежать, и перед автомобилем встает выбор – что делать? Резко свернуть в сторону бетонной стены и почти наверняка угробить тех, кто сидит внутри? Или спасать их жизни и ехать прямо, но задавить людей на пешеходном переходе? На какие действия должна быть запрограммирована машина? Как по-вашему, кто должен погибнуть?

Конечно, у вас есть свое мнение. Может быть, вы полагаете, что автомобиль должен постараться спасти как можно больше жизней. А может, вы считаете, что заповедь “не убий” важнее любой арифметики, и пусть за все расплачивается тот, кто сидит в машине[248].

Фон Гуго четко выразил позицию своей компании: “Спасать того, кто находится в автомобиле. – И добавил: – Если вы ни в чем не уверены, кроме того, что одну смерть можно предотвратить, это должно стать вашей приоритетной целью”.

Это интервью вызвало бурю негодования в интернете, кредо Mercedes подвергли жесткой критике. “Их машины будут вести себя так же, как типичный высокомерный водитель люксового европейского автомобиля”, – писал автор одной статьи. Действительно, летом того же года журнал Science опубликовал обзор, где 76 % респондентов ответили, что, по их мнению, было бы правильнее, чтобы машина с автономным управлением спасла как можно больше людей, то есть подвергла бы смертельной опасности своих пассажиров. Mercedes занял позицию, противоположную общественному мнению.

Но так ли это? Ведь когда участников того же исследования спросили, готовы ли они купить автомобиль, который при определенных обстоятельствах их убьет, они почему-то не захотели пожертвовать собой ради высшего блага.

Мнения об этой дилемме разделились, и не только по вопросу о том, какой ответ считать правильным. Обозреватели в научно-технической сфере, да и другие журналисты обожают этот мысленный эксперимент, но, когда я говорила со специалистами по беспилотным автомобилям, все они при упоминании о задачке с вагонеткой лишь закатывали глаза. Что касается меня, я очень ее люблю. Ее лаконичность наводит нас на важные мысли о машинах-беспилотниках, вынуждает задуматься о нашем отношении к тому, что жизненно важные для нас и других людей решения будет принимать алгоритм. В сущности, и эта новая технология, и почти все прочие алгоритмы ставят вопросы о власти, ожидаемом эффекте, об управлении и о делегировании ответственности. О том, можем ли мы рассчитывать на то, что новые технологии гармонично впишутся в нашу жизнь и не будут нам противодействовать. Но мне понятно также, почему разработчики машин с автономным управлением скептически относятся к таким разговорам. Они лучше всех знают, что в реальности нам еще очень нескоро придется всерьез озаботиться проблемой вагонетки.

Нарушение правил дорожного движения

С тех пор как состоялись первые гонки беспилотников, теорема Байеса и могучая сила теории вероятности дали толчок множеству инноваций в разработке автономного транспорта. Я спросила Пола Ньюмена, профессора из Оксфорда, специалиста по робототехнике и основателя компании Oxbotica, которая конструирует и тестирует на улицах английских городов машины-беспилотники, как устроены его последние модели, и он сказал: “Это программа на миллионы, много миллионов строк, но я мог бы описать все это как вероятностный логический вывод. Все – целиком”[249][250].

Впрочем, хотя байесовский вывод отчасти объясняет принципиальную возможность создания машины-беспилотника, он же дает нам понять, какой же это крепкий орешек – полностью автономный автомобиль, которому совсем не нужен живой водитель.

Предположим, говорит Пол Ньюмен, “два автомобиля едут навстречу друг другу с высокой скоростью”. К примеру, по двухполосному шоссе, на плавном повороте, один в одну сторону, второй – в другую. Водитель – человек – будет абсолютно спокоен, ведь он уверен, что другая машина останется на своей полосе и проследует мимо на безопасном расстоянии в пару метров. “Но довольно долго кажется, что они сейчас врежутся друг в друга”, – объясняет Ньюмен. Как научить машину без водителя не паниковать в такой ситуации? Вам не нужно, чтобы – машина съехала на обочину, стараясь предотвратить аварию, которой и так не произойдет. Но точно так же вы не хотите, чтобы она никак не реагировала на угрозу, когда вы действительно окажетесь на волосок от лобового удара. Не забудьте еще, что такие машины могут лишь строить более или менее обоснованные предположения о том, как им следует действовать. Как добиться того, чтобы их догадки всегда были верны? Это, говорит Ньюмен, “ужасно трудная задача”.

Специалисты давно бьются над ней, но решение существует. Надо придумать, как смоделировать поведение других, здравомыслящих водителей. Но, к сожалению, не в любой дорожной ситуации этот прием эффективен.

“Плохо со всеми теми аспектами вождения, которые вообще не связаны с вождением”, – поясняет Ньюмен. Надо как-то втолковать алгоритму, что следует проявить повышенную осторожность, если, к примеру, из фургона с мороженым доносится музыка или дети играют с мячом на тротуаре. Надо научить его распознавать странные прыжки кенгуру (пока я писала свою книгу, специалисты Volvo как раз сообщили, что работают над этим[251]). Для сельских районов Англии это не очень актуально, но в Австралии машину без такого навыка опасно выпускать на дорогу.

Хуже того – как объяснить машине, что иногда необходимо нарушить правила? Допустим, вы стоите перед красным сигналом светофора, и вдруг перед вами выбегает человек и отчаянно машет вам, чтобы вы продвинулись вперед. Или по узкой улочке пробирается карета скорой помощи с мигалкой, и, чтобы ее пропустить, вы должны залезть на тротуар. Или на узком шоссе “сложился” бензовоз, и вам надо убраться оттуда любой ценой.

“В правилах дорожного движения ничего такого не прописано”, – справедливо отмечает Ньюмен. Однако автомобиль с полностью автономным управлением, рассчитанный на езду без какой бы то ни было помощи человека, должен уметь разруливать подобные ситуации. Даже аварийные.

Никто не говорит, что эти препятствия нельзя преодолеть. “Думаю, мы сумеем довести машину до любого желаемого уровня интеллекта, – сказал мне Ньюмен. – Это всего лишь вопрос времени”. Как ни грустно, не ближайшего времени, по-видимому. Вероятно, мы гораздо дальше от реализации заветной мечты о робомобиле, чем нам кажется.

Ибо для того, чтобы создать эту сказочную игрушку – самодостаточный, способный ездить по любым дорогам автомобиль без рулевого колеса, – придется пройти еще один уровень сложности, и речь вовсе не о технологии. Полностью автономный автомобиль будет иметь дело еще и с людскими причудами.

Джек Стилгоу, социолог из Университетского колледжа Лондона, который изучает влияние техники на общество, говорит: “Люди склонны нарушать правила. Они не пассивные фигуры в пейзаже, а деятельные участники жизни”[252].

Представим себе на минутку мир с абсолютно самостоятельными робомобилями. Правило номер один для их бортовых компьютеров – по возможности не допускать столкновений. Это меняет режим движения на дороге. Если вы встанете перед машиной без водителя, она должна остановиться. Если вы неожиданно выскочите перед ней на перекрестке, она должна воспринять это безропотно.

Как выразился в 2016 году один участник соцопроса в Лондонской школе экономики: “C ними надо построже. Они пусть стоят, а ты можешь спокойно идти прямо перед ними”. Перевожу: эти машины можно третировать.

Стилгоу согласен: “Те, кто до сих пор был относительно беззащитен на дороге – скажем, велосипедисты, – могут катить себе потихоньку перед машиной-беспилотником, будучи уверены, что та ни при каких условиях им не навредит”.

Может быть, эту неприятность удастся устранить, если ввести более строгие правила в отношении велосипедистов и пешеходов, злоупотребляющих своими преимуществами. Собственно, такие законы уже приняты – хотя бы в отношении тех, кто перебегает дорогу там, где не положено. Или если удалить с шоссе посторонних, как поступили с другими участниками дорожного движения после появления легковых автомобилей, – и теперь на автомагистрали нет ни велосипедов, ни лошадей с телегами и повозками, ни пешеходов.

Если нам нужны полноценные беспилотники, скорее всего, мы должны будем использовать прежний опыт и ограничить число агрессивных водителей, фургонов с мороженым, играющих на дорогах детей, предупреждающих знаков о дорожных работах, путающихся под колесами пешеходов, машин скорой помощи, велосипедистов, инвалидных электроскутеров и всего остального, что мешает движению автономного транспорта. Прекрасно, но не совсем то, что нам рекламируют.

“Во всех этих разглагольствованиях об автономности и транспорте предполагается, что мир не изменится, – говорит Стилгоу. – Все останется как есть, только роботы научатся ориентироваться в мире ничуть не хуже человека, а со временем даже лучше. По-моему, это просто глупость”.

Но погодите-ка, подумаете вы. Разве это уже не пройденный этап? Разве гугломобиль Waymo уже не накрутил миллионы миль? Разве беспилотники этой марки – или, по крайней мере, почти полностью беспилотные машины – уже не ездят по улицам Финикса в Аризоне?

Да, конечно. Но дороги не везде одинаковые. Большей частью они настолько просты для вождения, что можно проехать несколько миль в полусне. Есть и куда более трудные участки. На тот момент, когда я это пишу, автомобилям Waymo разрешен проезд далеко не везде, они “геозонированы”, то есть не должны покидать пределов отведенных им небольших районов. То же и с беспилотниками Daimler и Ford, которые производители обещают вывести на дороги к 2020 и 2021 году соответственно. Возить пассажиров им дозволено лишь в определенных зонах. Таким образом, проблема автономности существенно упрощается.

Вот как описывает гипотетическое будущее беспилотных автомобилей Пол Ньюмен: “Они будут ездить в хорошо изученных районах, так чтобы их владельцы были твердо уверены, что они справятся. Это возможно в городе, а не где угодно с непонятно какими дорогами и с коровами на шоссе. Может быть, в определенные часы и при определенных погодных условиях. Их будут использовать транспортные компании”.

Это не совсем то же самое, что полная автономия. Джек Стилгоу готов пойти на неизбежный компромисс: “В якобы автономных системах на самом деле мир ограничен таким образом, чтобы они выглядели автономными”.

Картина, в которую мы уверовали, похожа на мираж. Нам видится роскошное авто с личным водителем всегда к нашим услугам, а при ближайшем рассмотрении оказывается, что это всего лишь внутрирайонная маршрутка.

Если я вас еще не убедила, предоставлю право завершить дискуссию одному из самых авторитетных американских автомобильных журналов Car and Driver:

Никто из производителей машин не предполагает, что в ближайшем будущем и даже в ближайшие десятилетия улицы заполонят беспилотные автомобили и наступит чудесная жизнь без аварий. Но они хотят, чтобы на Уолл-стрит их воспринимали всерьез, и стараются разбудить воображение людей, неуклонно теряющих интерес к вождению. А пока суд да дело, надеются продать побольше машин, оснащенных новейшими системами помощи водителю[253].

Что там насчет систем помощи водителю? В конце концов, беспилотный автомобиль не означает выбора между всем и ничем.

В технологии автономного управления выделяют шесть уровней, от нулевого – никакой автономии – до фантастического пятого, то есть до полной автономии. Между ними помещаются машины от первого уровня с автоматическим регулированием скорости до четвертого с автономным управлением в условиях геозонирования; проще говоря, первый уровень – без ног, второй – без рук, третий – без глаз, четвертый – без головы.

Поэтому хотя пятый уровень еще даже не маячит на горизонте, а четвертый не совсем то, что нам так вдохновенно рекламируют, на пути к вершине можно достичь немалой степени автоматизации. Что плохого в том, чтобы потихоньку повышать уровень личных автомобилей? Можно ведь выпускать машины с рулем и педалью тормоза, в которых на водительском месте будет сидеть человек, способный взять управление на себя в чрезвычайной ситуации? Достаточно будет, пожалуй, пока технологии развиваются?

К сожалению, не все так просто. В сюжете этой истории остается еще один, последний, поворот. Целый спектр других проблем. Этот камень преткновения всегда будет на пути, если не достигнут уровень полностью автономного управления без участия человека.

Сын полка

Пилоты авиакомпании Air France прозвали Пьера-Седрика Бонэна сыном полка[254]. Он поступил в авиакомпанию совсем молодым, в двадцать шесть лет, имея за плечами всего несколько сотен часов налета, и учился на аэробусах французского авиаперевозчика. К тому дню, когда он поднялся на борт злополучного рейса AF447, ему исполнилось тридцать два и он успел налетать 2936 часов – солидный опыт, хотя Бонэн все равно оставался самым “зеленым” в тройке пилотов[255].

Тем не менее 31 мая 2009 года, когда самолет авиакомпании Air France, выполнявший рейс 447, оторвался от взлетной полосы в международном аэропорту “Галеан” Рио-де-Жанейро и взял курс домой, в Париж, управлял воздушным судном именно Пьер-Седрик Бонэн[256].

Это был Airbus A330, один из самых высокотехнологичных пассажирских самолетов за всю историю авиации. Его система автоматического управления настолько совершенна, что обошлась бы в полете без помощи людей, за исключением взлета и посадки. И даже когда летчик берет управление на себя, ее встроенные системы безопасности сводят риск ошибки человека к минимуму.

Однако автопилот, который уверенно преодолевает любые предусмотренные конструкторами трудности, несет в себе скрытую угрозу безопасности. Летчик не сможет постоянно поддерживать высокий профессиональный уровень, необходимый для самостоятельного управления системой, если предполагается, что он берется за штурвал в исключительных случаях. Ему не хватит опыта, на который он мог бы опереться, чтобы в экстренной ситуации оказаться во всеоружии.

Именно это и произошло во время рейса AF447. Бонэн успел наработать тысячи летных часов в кабине пилотов аэробуса, но обладал минимальным практическим опытом ручного управления авиалайнером А330. В основном деятельность его как пилота ограничивалась тем, что он следил за работой автоматической системы. Поэтому в тот вечер, когда автопилот отключился, Бонэн не сумел обеспечить безопасность полета[257].

Неприятности начались, когда внутри встроенных в фюзеляж датчиков скорости образовались кристаллики льда. Оставшись без адекватных показаний, автопилот подал звуковой сигнал и переложил ответственность на человека. Само по себе еще не повод для волнений. Но когда воздушное судно слегка тряхнуло в зоне турбулентности, Бонэн, не имея должной подготовки, отреагировал слишком резко. Лайнер начал немного крениться на правый борт, Бонэн схватился за боковую ручку управления и наклонил ее влево. А главное, он одновременно потянул сайдстик назад и тем самым послал самолет круто вверх[258].

Воздушное судно попало в более разреженную атмосферу, а Бонэн упорно тянул ручку на себя, пока нос самолета не оказался задран настолько, что воздух перестал равномерно обтекать крылья. Теперь они отражали воздушный поток, авиалайнер резко потерял подъемную силу и падал хвостом вниз с небес в океан.

В кабине пилотов раздались сигналы тревоги. Командир поспешил из каюты для отдыха обратно в кабину. Борт AF447 несся к океану со скоростью три километра в минуту.

К тому моменту датчики оттаяли, механических повреждений не было, океан маячил еще далеко внизу, и все еще можно было исправить. Бонэну и его напарнику хватило бы всего десяти-пятнадцати секунд, чтобы спасти всех, кто находился в самолете, – достаточно было толкнуть ручку управления вперед и опустить нос лайнера, так чтобы воздушный поток снова начал плавно и равномерно огибать крылья[259].

Но Бонэн в панике тянул сайдстик назад. Никто не осознавал, что он сам создал чрезвычайную ситуацию. Драгоценные секунды таяли. Командир велел выровнять крылья. Экипаж немного поспорил, теряют они высоту или набирают. Затем, на высоте меньше 2500 метров, управление взял на себя второй пилот[260].

– Вверх… вверх… вверх… – раздавался крик второго пилота.

– Я же все это время тянул ручку назад! – отвечал Бонэн.

Наконец до командира дошло. Он понял, что уже три с лишним минуты они падают из-за срыва потока, и приказал опустить нос. Поздно. Увы, теперь они были уже слишком близко к поверхности воды. “Чтоб его! Мы разобьемся! Не может быть!” – орал Бонэн[261]. Спустя несколько мгновений авиалайнер рухнул в Атлантический океан, унося с собой 228 живых душ.

Парадоксы автоматизации

В 1983 году, за двадцать шесть лет до катастрофы с французским авиалайнером, психолог Лизанна Бейнбридж написала свое знаменитое эссе о неявной опасности чрезмерного доверия к автоматизированным системам[262]. Создайте машину, чтобы она исправляла людские огрехи, объясняла Бейнбридж, и, как ни парадоксально, люди станут слабее.

Любой из нас в той или иной степени может сейчас это подтвердить. Ведь именно поэтому люди уже не способны запоминать телефонные номера, многие из нас с трудом разбирают собственный почерк и не в силах найти дорогу без навигатора. У нас мало шансов приобрести навыки такого рода, потому что все это делает за нас техника.

У нас есть все основания волноваться, как бы нечто подобное не произошло и с навыками вождения – а тут ставки побольше, чем с каким-то почерком. Пока мы не сумеем наладить полностью беспилотный режим, автомобиль время от времени будет передавать управление водителю. Удастся ли нам сразу вспомнить, что мы должны делать? И будет ли у подрастающего поколения возможность вообще научиться водить машину?

Но даже если все водители сохранят (в широком смысле слова) свой уровень компетенции[263], нам все равно придется решить еще одну проблему. Ибо важно и то, что требуется от водителя до самоустранения автопилота. Возможностей всего две. Обе они, как пишет Бейнбридж, не особенно приятные.

При втором уровне автономности (управление “без рук”) предполагается, что водитель всегда будет предельно внимателен на дороге. Машина не настолько продвинутая, чтобы полагаться только на себя, ей требуется ваше чуткое руководство. Как однажды написал журнал Wired, это примерно та степень развития, когда “двухлетний ребенок помогает вам мыть посуду”[264][265].

В настоящее время приблизительно такого уровня достигли автопилоты Tesla[266]. Сейчас это выглядит как навороченный круиз-контроль – система автоматического поддержания скорости ведет машину на трассе, может затормозить и прибавить газу, но рассчитывает на то, что водитель всегда начеку и в любой момент сможет вмешаться. Если вы надолго отпустите руль, включится сигнал тревоги, чтобы вы не теряли бдительности.

Однако, пишет Бейнбридж, такой подход не сулит ничего хорошего. Нереально требовать от человека постоянной внимательности: “Как бы ни был сосредоточен водитель, он сможет удерживать зрительное внимание на источнике информации, при том что почти ничего не меняется, не больше получаса”[267].

Некоторые факты говорят о том, что люди с трудом заставляли себя следить за дорогой, как того требовала компания Tesla. В 2016 году за рулем автомобиля Tesla погиб Джошуа Браун: он ехал на автопилоте 37,5 минут и врезался в грузовик, пересекавший ему путь. Как показало расследование Национальной администрации безопасности движения на автострадах (NHTSA), в момент столкновения Браун на дорогу не смотрел[268]. Новость об этом происшествии облетела весь мир, однако не образумила отчаянных парней, выкладывающих в YouTube веселые ролики с советами, как перехитрить машину и внушить ей, что вы не теряете концентрации. Чтобы заткнуть настырную машину с ее напоминаниями о вашей ответственности, предлагалось привязать к рулевому колесу банку “ред-булла”[269] или засунуть в него апельсин[270].

Те же вопросы встают и в других программах. Беспилотники Uber требуют от водителя личного участия через каждые 13 миль (21 км)[271], но люди все равно с трудом концентрируются. 18 марта 2018 года самоуправляемый автомобиль Uber насмерть сбил женщину. На видеозаписи, сделанной в машине, видно, что “контрольное устройство” в лице сидевшего за рулем человека за секунды до происшествия на дорогу не смотрело[272].

Это серьезная проблема, но есть альтернативный выход. Производители автомобилей могли бы смириться с нашей человеческой природой и с тем, что нам свойственно отвлекаться. В конце концов, машина с автономным управлением тем и хороша, что можно, например, почитать в дороге. В этом заключается принципиальное отличие второго уровня (“без рук”) от третьего (“без глаз”).

Конечно, выйти на третий уровень гораздо сложнее в техническом отношении, но некоторые производители уже выпускают машины с учетом нашей рассеянности. Таков, в частности, автопилот Audi, рассчитанный на движение в плотном трафике[273]. Когда вы ползете в пробке, он полностью берет управление на себя – устраивайтесь поудобнее и наслаждайтесь неспешной ездой. Но будьте готовы при необходимости включиться в процесс[274].

Система Audi неспроста применяется только на автомагистралях с ограниченным числом въездов и при медленном движении. При большом скоплении машин на трассе риск катастрофы снижается. Это важно. Потому что стоит только водителю перестать следить за дорогой, в критическом положении складывается худшая комбинация факторов.

У невнимательного водителя очень мало времени на то, чтобы оценить обстановку и принять решение. Допустим, вы сидите в машине с автоматическим управлением, включается предупреждающий сигнал, вы отрываетесь от детектива и видите, что впереди самосвал вывалил на дорогу свой груз. Вы должны моментально обработать информацию – слева от вас мотоцикл, перед вами резко тормозит фургон, справа, в слепой зоне, еще одна машина. Именно сейчас вам нужно досконально понимать дорожную ситуацию, но вы совсем не ориентируетесь в ней; добавьте еще недостаток опыта – и как раз тогда, когда от вас требуется высочайший уровень водительского мастерства, вы будете практически беспомощны.

Эксперименты с моделями беспилотников подтверждают этот факт. Участникам одного такого исследования предлагали читать или разговаривать по телефону, пока автомобиль рулит сам, и оказалось, что восстановить контроль над машиной удается через сорок секунд после того, как включится сигнал тревоги. Тот самый случай с рейсом AF447. Командир экипажа Дюбуа легко мог спасти самолет, но опоздал с решением примерно на минуту – слишком долго он соображал, что происходит, пока не отдал простой приказ, который должен был предотвратить трагедию[275][276].

Как ни странно, чем более совершенна технология автономного управления, тем сложнее человеку. С нерадивым автопилотом, пикающим каждые пятнадцать минут, водитель не уснет и не разучится управлять автомобилем. А вот умная и хорошо отлаженная автоматическая система, на которую можно положиться почти всегда, куда опаснее.

Вот почему руководитель исследовательского центра Toyota Джилл Пратт сказал:

Хуже всего, когда участие водителя нужно машине один раз за двести тысяч миль… Простой человек, который меняет машину через сто тысяч миль пробега, может так и не узнать, как это происходит [как автомат передает управление]. Но время от времени, может, в каждой второй моей машине, будет звучать это внезапное бип, бип, бип – мол, твоя очередь! А если годами этого не слышать и не видеть, как обычно и бывает… то, когда это произойдет, водитель растеряется[277].

Большие надежды

Несмотря на все сказанное, у нас есть все основания неуклонно двигаться вперед, к автоматическому управлению. Плюсов все-таки больше, чем минусов. Пока еще во всем мире езда на автомобиле является одной из главных причин гибели людей. Если в отдаленном будущем с помощью новых технологий удастся снизить смертность на дорогах, не развивать эти технологии было бы просто неэтично.

Да и других выгод хватает – даже простая вспомогательная автоматическая система дает возможность уменьшить расход топлива[278] и разгрузить дороги[279]. Да что уж там говорить – как приятно было бы пусть хотя бы на минутку убрать руки с руля на скорости за сто километров в час!

Но вспомним, о чем нас предупреждает Бейнбридж – в своем эссе она обрисовала проблемы, связанные с нынешним уровнем развития технологии автоматического вождения.

Одной из первых вывела на рынок автомобиль с автономным управлением компания Tesla. В целом ее опыт, несомненно, положительный, потребители ее продукции чувствуют себя в машине более уверенно – вы легко найдете в сети видео о системе предупреждения столкновений, которая раньше водителя видит риск аварии, подает сигнал тревоги и спасает автомобиль от удара[280].

Но возможности машины – в сущности, ультрасовременный передний парктроник и умная система круиз-контроля – не вполне согласуются с тем, как это подается. Так, в октябре 2016 года компания заявила, что “сейчас все автомобили Tesla выпускаются с оборудованием для полного автоматического управления”[281]. В одной статье на сайте The Verge приводятся еще и такие слова Илона Маска, идейного вдохновителя Tesla: “Отныне новейшая версия полной автономии будет стандартом для всех автомобилей Tesla”. Вот эта “полная автономия” явно расходится с тем предупреждением, которое должны принять к сведению владельцы машин, прежде чем включить уже доступный автопилот: “Всегда сохраняйте контроль над – машиной, ответственность за управление возлагается на – водителя”[282][283].

Важно, чего мы ждем. Может, у вас другое мнение, но, по-моему, светлая идея запихнуть в рулевое колесо апельсин и, хуже того, продажа самодельных приспособлений, которые “ [позволяют] покупателям первых моделей [находясь за рулем] сделать предупреждающие сигналы автопилота не такими назойливыми или отключить их вовсе” (мне попалось такое предложение где-то на темных задворках интернета)[284], – это неизбежное следствие не совсем честной рекламы уважаемого бренда.

Безусловно, Tesla – не единственный источник зла в автоиндустрии. Все компании стараются подыграть нашим фантазиям, лишь бы продать нам свою продукцию. Но лично мне не все равно, что я покупаю – духи с особо соблазнительным ароматом или машину с полностью автоматическим управлением, которое якобы должно гарантировать мне безопасность.

Если оставить в стороне рыночную стратегию, меня все же мучает вопрос о нашем собственном неправильном отношении к беспилотникам.

На сегодняшний день мы знаем, что люди отлично чувствуют нюансы, умеют анализировать контекст, использовать жизненный опыт и находить закономерности. Знаем, что мы ужасно невнимательны и неаккуратны, непоследовательны и не можем полностью сосредоточиться на том, что нас окружает. Короче говоря, мы умеем все то, чего не умеют алгоритмы, и наоборот.

Тогда почему бы не взять все лучшее от обоих миров и не дополнить людские таланты способностями машин, как это делают в медицине, когда диагностируют новообразования с помощью компьютерных программ? Пока полная автономия не обеспечена, почему бы не пойти обратным путем и не сосредоточиться на создании системы, которая будет помогать водителю, а не ждать помощи от него? Системы обеспечения безопасности – вроде антиблокировки колес при торможении и антипробуксовочной системы, – которая способна неотрывно следить за дорогой и заметит опасность, если ее не заметил водитель. Это был бы не столько шофер, сколько телохранитель.

Исследователи научного центра Toyota руководствуются этой идеей. Их машины могут работать в двух режимах. Режим “шофер”, вроде автопилота Audi для плотного трафика, рассчитан на движение по загруженной дороге, а “телохранитель” остается “в запасе”, пока рулит человек, и действует как система обеспечения безопасности, если водитель чего-нибудь вдруг не увидит и возникнет угроза аварии.

Похожей политики придерживается Volvo. Впечатляющими показателями безопасности модель Volvo XC90 обязана системе автономного экстренного торможения, которая в случае опасного сокращения дистанции до впереди идущей машины автоматически снизит скорость. С 2002 года, когда в Великобритании поступила в продажу первая такая модель, было продано больше 50 000 автомобилей, и при столкновениях с их участием все до единого водители и пассажиры остались живы[285][286].

Посмотрим, во что все это выльется – как и многие технические концепции беспилотных автомобилей, которые сейчас так горячо обсуждаются. Но одно можно сказать наверняка: беспилотники еще научат нас кое-чему, что пригодится нам во всех сферах жизни, а не только на автомагистрали. Главное – не разборки по поводу того, кто должен управлять машиной, а трезвая оценка потенциальных возможностей алгоритмов.

Если так и дальше пойдет, нам следует пересмотреть свое мышление. Нам придется расстаться с мечтой об идеальных, абсолютно надежных машинах и осознать, что если механические поломки еще можно свести к минимуму, то наладить бесперебойную работу алгоритмов в ближайшем будущем едва ли удастся.

Поэтому, раз накладок не избежать и на пути к цели мы должны смириться с неопределенностью, автономное управление ставит перед нами такие дилеммы, которые вынуждают нас задуматься о том, насколько совершенным должно быть наше творение, чтобы его можно было выпустить на улицу. Это важный вопрос, и касается он всего на свете. Что значит достаточно хорошо? Если ваш алгоритм умеет хорошо считать, но может и ошибиться, вы готовы с этим смириться?

Преступность

В один теплый июльский день 1995 года двадцатидвухлетняя студентка университета собрала свои книжки, вышла из библиотеки Лидса и направилась к машине. Целый день она наводила лоск на свою дипломную работу и теперь надеялась хорошо отдохнуть в остаток лета. Она села в свою машину и уже готова была ехать, но тут раздался звук быстрых шагов: кто-то бежал по гаражу в ее сторону. Прежде чем она успела что-то сообразить, какой-то мужчина сунул голову в открытое окно и приставил нож к ее горлу. Он велел ей перебраться на заднее сиденье, связал ее, залепил ей веки акрилатным клеем, сел за руль и рванул с места.

Кошмарная поездка завершилась на травянистом берегу водоема. Девушка услышала глухой звук – это он опустил спинку своего сиденья, затем шуршание – он раздевался. Она поняла, что сейчас он ее изнасилует. Вслепую она подтянула к груди колени и со всей силы оттолкнула его ногами. Она отчаянно боролась с насильником, так что он порезал себе пальцы ножом, который держал в руке, и на сиденье остались капли его крови. Он дважды ударил ее по лицу, но вдруг, к огромному облегчению своей жертвы, выскочил из машины и убежал. Спустя два часа после начала этой жуткой истории на улице Лидса Глоуб-роуд можно было видеть обезумевшую от ужаса, растрепанную девушку в рваной блузке, с красными отметинами ударов на лице и с остатками клея на глазах[287].

Попытки изнасилования случайной жертвы происходят очень редко, но когда происходят, то, как правило, это бывают серийные преступления. Очевидно, этот человек не впервые напал на женщину. По результатам анализа крови, следы которой были обнаружены в машине, полиция выяснила, что его ДНК совпадает с образцом, полученным два года назад при расследовании аналогичного нападения на многоуровневой парковке. Тот случай произошел в Ноттингеме, в ста километрах к югу. С помощью программы ВВС Crimewatch[288] полиция нашла также связи с тремя другими преступлениями, совершенными десять лет назад в Брадфорде, Лидсе и Лестере.

Но розыск этого серийного насильника сулил немалые трудности. В совокупности все эти эпизоды оказались раскиданы по огромной территории площадью 7046 квадратных километров. Кроме того, потенциальных подозреваемых получилось невероятно много – 33 628 человек, каждого из которых полицейским надо было либо вычеркнуть из списка, либо взять в разработку[289][290].

Предстояло выполнить немыслимый объем работы, причем не в первый раз. Нападения десятилетней давности вызвали массированную охоту на мужчин, однако, посетив 14 153 дома, собрав несчетное количество образцов волос, мазков и прочих улик, полиция в конце концов зашла в тупик. Последнее расследование грозило пойти по той же схеме, если бы не Ким Россмо, отставной полицейский из Канады, и не его новая компьютерная программа[291].

Россмо выдвинул смелую идею. Вместо того, чтобы принять во внимание богатый набор уже полученных улик, его алгоритм не учитывал ничего. Его интересовал один-единственный фактор – география.

Вероятно, сказал Россмо, преступник не случайно выбирал места нападения на своих жертв. Вероятно, это был не вполне свободный выбор или сознательное решение. Несмотря на то, что нападения были совершены в разных точках страны, Россмо подумал, вдруг на карте этих преступлений можно отыскать некую закономерность, достаточно явную для того, чтобы заняться ее изучением. Он был уверен, что по локализации преступлений можно с большой вероятностью предположить, откуда прибыл преступник. В деле о серийных изнасилованиях у него появился шанс проверить свою теорию на практике.

Операция “Рысь” и поливочная система

Россмо не первый заметил, что преступники невольно создают свои географические карты. Корни его догадки уходят в 1820-е годы, к тому времени, когда бывший адвокат, а позже статистик Андре-Мишель Герри, служивший во французском министерстве юстиции, начал собирать данные об изнасилованиях, убийствах и ограблениях, совершенных в разных районах Франции[292].

В наши дни сбор такой информации – стандартная процедура, но в ту эпоху математика и статистика находили применение только в естественных науках – ход планет по небосводу, соотношение сил в паровом двигателе и прочие тому подобные физические явления обретали ясную форму в изящных уравнениях. Собирать криминальные данные никому в голову не приходило. Никто не знал, что, как и с какой периодичностью следует учитывать. И потом, думали тогда, какой в этом смысл? Сильный и независимый по своей природе, человек волен ходить где угодно и делать что угодно. Его поведение не вписывается в узкие рамки статистических подсчетов[293].

Однако Герри проанализировал статистику преступлений в своей родной стране и понял, что это не так. Он увидел, что в любом уголке Франции складывалась характерная картина преступности – какие правонарушения совершались, как, а главное, кем. Закон чаще нарушали молодые, чем старые, мужчины чаще, чем женщины, бедные чаще, чем богатые. Очень быстро обнаружился любопытный факт – эти характерные картины не менялись со временем. Криминальная статистика в каждой области год за годом повторялась с весьма незначительными вариациями. Количество ограблений, изнасилований и убийств воспроизводилось из года в год с пугающей точностью. Можно было предсказать даже то, каким способом будет совершено убийство. Значит, Герри и его коллеги могли дать достаточно точный прогноз – сколько человек в таком-то году будет убито ножом, саблей или камнем и сколько будет задушено или утоплено в той или иной области[294].

Возможно, в конечном итоге свободный выбор преступника тут не играет большой роли. Преступность не носит хаотичный характер: люди предсказуемы. И вот спустя два столетия после открытия Герри Ким Россмо решил, что надо отталкиваться от этой самой предсказуемости.

Герри исследовал картины преступности на уровне страны в целом и ее провинций, но оказалось, что даже на индивидуальном уровне люди, совершая преступления, создают достаточно информативные карты. Преступники, как и мы все, обычно привязываются к хорошо знакомым районам. Они действуют в определенной местности. Следовательно, даже самые тяжкие правонарушения, скорее всего, произойдут неподалеку от места жительства тех, кто их совершит. И если постепенно удаляться от места преступления, шансы найти дом, где обитает правонарушитель, будут неуклонно уменьшаться[295] – в криминологии известно это явление ослабления связей на расстоянии.

С другой стороны, вряд ли серийный преступник станет выискивать себе жертву в непосредственной близости от места своего жительства, чтобы не привлекать к своему дому внимания полиции и чтобы его не узнали соседи. Таким образом, вокруг его дома остается, так сказать, зона безопасности, где преступление крайне маловероятно[296].

Программа, которую разработал Россмо, основана на этих двух ключевых топографических факторах – ослаблении связей на расстоянии и зоне безопасности, характерных для географии большинства тяжких преступлений. Отметив места злодеяний булавками на карте, Россмо понял, что можно связать два главных условия математической формулой и примерно обозначить район, где мог бы проживать подозреваемый.

Если совершено одиночное преступление, эта схема мало чем поможет. Без достаточного объема информации, за которую можно было бы зацепиться, от так называемого алгоритма геопрофилирования будет не больше толку, чем просто от здравого смысла. Но если рассматривать несколько преступлений, появляются более конкретные идеи, и на карте города постепенно вырисовываются зоны, где вероятность выследить злоумышленника выше всего.

Серийный преступник действует примерно по тому же принципу, что и вращающийся дождеватель. Нельзя сказать, где маньяк нападет на свою жертву в следующий раз, как невозможно указать и точки падения капель воды. Но если поливочная система уже успела поработать и на землю попало множество капель, по мокрым пятнам нетрудно определить, где примерно установлен дождеватель.

Точно так же устроена программа, которую Россмо разработал для выслеживания серийного насильника – операции “Рысь”. На тот момент полицейским были известны пять разных мест нападений и в придачу несколько адресов, где преступник покупал спиртное, сигареты и видеоигры, расплачиваясь крадеными банковскими картами. Уже по этим локациям алгоритм вычислил два основных района предположительного проживания насильника – окраины Лидса Миллгарт и Киллингбек[297].

В оперативном штабе по расследованию нашлась еще одна важная наводка: неполный отпечаток пальца, когда-то давно оставленный насильником на месте преступления. Для автоматической системы идентификации отпечатков пальцев, которая могла бы прогнать этот образец по своей базе данных осужденных преступников и найти точное соответствие, он был слишком мал – пришлось бы эксперту вооружиться лупой и кропотливо, самым внимательным образом изучить все отпечатки один за другим. К тому моменту расследование длилось уже почти три года, и, несмотря на все усилия ста восьмидесяти сотрудников пяти подразделений полиции, дело стало зависать. Все дорожки вели в никуда.

Следователи приняли решение проверить вручную все отпечатки пальцев, добытые в тех двух районах, которые выделил компьютер. Начали с Миллгарта, но исследование картотеки с отпечатками пальцев в местном отделении полиции не дало результата. Перешли к Киллингбеку, и после девятисот сорока часов работы с архивом наконец узнали имя – Клайв Баруэлл.

Сорокадвухлетний Клайв Баруэлл имел жену и четверых детей, а в промежутке между своими нападениями успел отсидеть в тюрьме за вооруженное ограбление. Теперь он работал дальнобойщиком и по роду своей деятельности постоянно колесил по стране. Но жил он в Киллингбеке, а в Миллгарт частенько наведывался к матери – эти два района и отметил алгоритм[298]. По одному только фрагменту отпечатка нельзя было с уверенностью идентифицировать его, но проведенный впоследствии тест ДНК подтвердил, что все эти чудовищные преступления на его совести. Полиция нашла, кого искала. В октябре 1999 года Баруэлл предстал перед судом. Ему назначили восемь пожизненных сроков подряд[299].

Когда все закончилось, Россмо смог проанализировать работу своей программы. Она не назвала имени Баруэлла, но показала на карте районы, которыми полиции следовало заняться. Если бы в распоряжении полицейских был алгоритм, который позволил бы им на основании места жительства подозреваемых расположить их в приоритетном порядке для проверки отпечатков пальцев и проб ДНК, они доставили бы гораздо меньше неудобств ни в чем не повинным гражданам. Для того чтобы выследить Клайва Баруэлла, достаточно было бы обработать данные трех процентов жителей района[300].

Алгоритм, безусловно, оказался эффективным. Нашлись у него и другие достоинства. Ему несвойственны те перекосы, о которых шла речь в главе “Правосудие”, потому что он всего лишь упорядочивает имеющийся список имен. Кроме того, он не может поставить под сомнение продуктивную разыскную работу или забрать себе слишком много власти, а просто повышает КПД расследования, поэтому вряд ли окажется, что ему будут чересчур доверять.

Вдобавок это чрезвычайно гибкий алгоритм. После операции “Рысь” его использовали больше трехсот пятидесяти агентств по борьбе с преступностью во всем мире, в том числе американское ФБР и Королевская канадская конная полиция. Его аналитические функции применимы далеко не только к расследованию преступлений – та же программа помогла по карте очагов вспышек малярии в Египте выявить стоячие водоемы, в которых расплодились комары[301]. Один из моих аспирантов в Университетском колледже Лондона, зная, где применялись самодельные бомбы, пытается с помощью той же программы выяснить, где их изготавливают. А группа лондонских математиков даже попробовала выследить неуловимого художника стрит-арта Бэнкси по расположению его граффити[302].

Слава богу, такие преступления, как серийные нападения с применением насилия, изнасилования и убийства, когда геопрофилирование оказывается особенно эффективным, происходят не каждый день. На самом деле великое множество правонарушений не требует такой специфической методики розыска, как в деле Клайва Баруэлла. Для того чтобы алгоритмы умели расследовать разными методами не только особо тяжкие преступления, им понадобились бы различные исходные географические данные. Нужно было бы дать им представление обо всем городе в целом. Характерную картину для каждой улицы и каждого закоулка – тот ритм жизни, который любой патрульный чует нутром. Джек Мейпл, по счастью, располагал такими данными.

Карты будущего

В восьмидесятых годах прошлого века надо было дважды подумать, прежде чем воспользоваться нью-йоркским метро. Неуютно там было. Стены размалеваны, вагоны пропахли застарелой мочой, платформы усеяны шприцами, того и гляди ограбят. Ежегодно в метро жертвами убийц становились в среднем двадцать ни в чем не повинных человек – в этом подземном мире вы чувствовали себя, словно в каком-нибудь неблагополучном районе.

В это неспокойное время Джек Мейпл служил в полиции. Только недавно его повысили до лейтенанта транспортной полиции, и за годы службы ему порядком надоело лишь реагировать на правонарушения, тогда как надо было бы бороться за снижение уровня преступности. Состояние неудовлетворенности привело к рождению блестящей идеи.

“Я вычертил на стене в пятьдесят пять футов все станции нью-йоркского метро и все до единого поезда, – рассказывал Мейпл в интервью в 1999 году. – Потом цветными карандашами отметил все места тяжких насильственных преступлений, крупных краж и ограблений. Отметил раскрытые и нераскрытые преступления”[303].

Казалось бы, ничего особенного, но карты, нарисованные на оберточной бумаге цветными восковыми карандашами, для своего времени оказались новаторскими и получили название “Карт будущего”. Никто до сих пор не пробовал взглянуть на преступность под таким углом. Но когда Мейпл отступил на несколько шагов назад и окинул взглядом весь криминальный город, ему стало ясно, что он видит картину совершенно в новом ракурсе.

“Возникает вопрос: почему? – сказал он. – По каким таким причинам в некоторых районах преступления идут одно за другим?” В те годы каждый звонок в полицию обрабатывался как отдельный инцидент. Если вы позвонили в полицию и сообщили, что поблизости устроили разборки наркодилеры, но, завидев полицейского, те быстренько смылись, никто не пытался уловить связь между вашей жалобой и другими сигналами, поступившими оттуда, куда они переместились. А по картам Мейпла можно было точно указать те места, где сложилась криминогенная обстановка, то есть он мог приступить к разбору причин. “В этом районе есть торговый центр? Не потому ли здесь происходит столько карманных краж и ограблений? А школа? Возможно, поэтому в три часа начинаются всякие неприятности? Нет ли где-то рядом заброшенного дома? Не потому ли тут процветает торговля наркотиками?”[304]

Анализ этих вопросов позволил начать борьбу с преступностью в городе. Поэтому в 1990 году, когда нью-йоркскую транспортную полицию возглавил Билл Браттон, человек прогрессивно мыслящий, Мейпл показал ему свои “Карты будущего”. С их помощью они вместе решили сделать так, чтобы в метро всем стало спокойнее[305].

Браттон высказал свою собственную отличную идею. Он понимал, что нормальной работе подземки очень мешают попрошайки, скачущие через турникеты “зайцы” и те, кто справляет в метро нужду. Приоритетными в работе полиции для Браттона стали не ограбления и убийства, хотя серьезных преступлений в подземке тоже хватало, а эти мелкие правонарушения.

В его решении была двойная логика. Во-первых, если все антиобщественные явления в самых неблагоприятных районах жестко пресекаются, общество получает четкий сигнал о недопустимости криминальных действий любого рода, и есть надежда изменить ситуацию, которую люди привыкли считать “нормальной”. Во-вторых, среди безбилетников гораздо чаще попадаются уголовники, способные на более тяжкие преступления. Если задержать их при попытке пройти в метро без оплаты, у них не будет такого шанса. “Мы прижали безбилетников и таким образом сумели остановить опасных вооруженных преступников уже у турникетов, раньше, чем они могли попасть в метро и устроить там погром”, – сказал Браттон газете Newsday в 1991 году[306]. Стратегия оказалась успешной. Полицейский контроль становился более продуманным, а метро – более безопасным. С 1990 по 1992 год благодаря картам Мейпла и тактике Браттона число тяжких преступлений в метро уменьшилось на 27 %, а серьезных краж – на треть[307].

Заняв пост комиссара Полицейского управления Нью-Йорка, Браттон прихватил с собой “Карты будущего”. Их доработали и модифицировали в программу CompStat – инструмент для обработки потока данных, которым сейчас пользуются в полицейских управлениях как в США, так и за их пределами. В основе программы лежит все тот же простой принцип Джека Мейпла – для того чтобы выявить самые горячие точки города, надо зафиксировать места, где были совершены преступления.

Как правило, в городе можно отчетливо выделить горячие точки. Так, одно исследование, которое проводилось в Бостоне и охватывало период продолжительностью двадцать восемь лет, показало, что 66 % уличных ограблений происходили всего на 8 % улиц[308]. В другой работе приводится карта Миннеаполиса с отмеченными на ней адресами, откуда поступали звонки в полицию – половина из трехсот тысяч оказалась сосредоточена на трех процентах территории города[309].

Однако эти горячие точки не всегда остаются на месте. Они непрерывно, день ото дня, мигрируют, слегка смещаясь и видоизменяясь подобно пятнам бензина на поверхности воды. И в 2002 году, уже в Лос-Анджелесе, Браттон задумался: а нет ли других закономерностей, по которым можно было бы предсказать не только где будет совершено преступление, но и когда? Нельзя ли расширить рамки и заняться не только уже совершенными правонарушениями? Можно ли прогнозировать действия преступников, а не пресекать их на месте или расследовать уже случившиеся происшествия, что приводило в отчаяние Мейпла?

Флажок и буст

Когда речь заходит о прогнозировании преступности, лучше всего начать с ограбления домов. Домовые кражи совершаются по определенному адресу, поэтому, в отличие, скажем, от карманной кражи, точно известно, где именно произошло преступление. И вообще, пропажу мобильного телефона потерпевший может и не заметить, пока не придет домой. К тому же люди обычно сообщают об ограблении, что позволяет собрать достаточно подробную информацию – например, для правонарушений с наркотиками это сделать значительно труднее. Важно и то, что во многих случаях хозяева дома могут с уверенностью назвать время кражи (допустим, когда они были на работе или ушли куда-то вечером) – таких же данных для вандализма вам никто не сообщит.

У взломщиков есть нечто общее с серийными убийцами и насильниками, подопечными Россмо, – и те, и другие предпочитают действовать в знакомых районах. Теперь уже известно, что более вероятно быть ограбленным на той дорожке, по которой вор ходит регулярно – возможно, на работу или в школу[310]. Мы[311] знаем также, насколько оживленные улицы выбирают преступники – предпочитая “золотую середину”, они обходят стороной главные магистрали с плотным трафиком, но чувствуют себя как дома там, где можно затеряться среди случайно попавших сюда беззаботных прохожих, – конечно, при условии, что на каждом углу не дежурят бдительные местные жители, которым до всего есть дело.

Но это лишь первое из двух достоинств вашего дома в глазах грабителя. Конечно, существуют постоянно действующие факторы, такие как район проживания и степень оживленности улицы, и воры всегда будут слетаться на эти “флажки”. Но, прежде чем продавать дом и очертя голову бежать в тихую гавань, где каждая дверь контролируется соседями, подумайте о том, что криминогенные горячие точки города тоже нестабильны. Возможно, второй признак вашего дома, который сулит удачу взломщику, даже более важен. Этот фактор зависит от того, что происходит в вашей округе в настоящее время. Это называется “буст”[312].

Если с вами случалось такое, что к вам вламывались дважды за короткий промежуток времени, эффект буста должен быть вам до боли знаком. Когда вас ограбят впервые, полицейские объяснят вам, что воры любят возвращаться – то есть для вас риск выше всего вскоре после первого их визита, независимо от того, где вы живете. Действительно, в этот период шансы быть ограбленным возрастают в двенадцать раз.

Непрошеные гости возвращаются по нескольким причинам. Возможно, они уже знают, как расположены комнаты и где вы держите дорогостоящие вещи (к тому же телевизоры и компьютеры довольно быстро вновь появляются в доме), какие у вас замки, знают пути отхода, а может быть, в прошлый раз им не удалось вынести что-то особенно ценное, но они положили на это глаз. Так или иначе, эффект буста сказывается не только на вас. Исследователи выяснили, что и для ваших соседей вероятность ограбления повышается сразу после того, как наведались к вам, – равно как и для их соседей, соседей их соседей и дальше по всей улице.

Очаги преступности вспыхивают и разгораются по всему городу, словно фонтаны фейерверка. Чем дальше от эпицентра, тем слабее огни; со временем они вовсе затухают и месяца через два гаснут вовсе – если только новое ограбление не встряхнет ту же улицу[313][314].

Явление флажка и буста в преступности сродни природному явлению – землетрясению. Где и когда начнутся толчки, предугадать невозможно – хотя и известно, что в одних районах это более вероятно, чем в других. Но как только земля дрогнет, можно выдвигать обоснованные предположения о месте и времени следующих толчков, при этом более всего подвержена риску зона эпицентра, а по мере удаления от него вероятность повторных подземных ударов постепенно снижается и приходит в норму с течением времени.

Впервые аналогию между землетрясениями и ограблениями провели при Браттоне. Полицейское управление Лос-Анджелеса, всячески стараясь найти способ прогнозирования преступности, начало сотрудничать с математиками из Калифорнийского университета, и ученые получили для анализа всю информацию, какая имелась в распоряжении полиции, – о тринадцати миллионах правонарушений, совершенных за восемьдесят лет. К тому времени криминологи уже несколько лет знали о теории флажка и буста, но специалисты из Калифорнийского университета впервые в процессе изучения закономерностей криминального мира поняли, что красивые математические формулы, по которым составляются прогнозы сейсмической активности и повторных толчков, можно применить к прогнозированию как первичных, так и вызванных первичными преступлений. И это справедливо не только для ограблений со взломом. Был предложен способ прогнозирования любых правонарушений – хоть угона машин, хоть вандализма и насильственных действий.

Встряска получилась основательная. По этим формулам можно было не просто высказать расплывчатое предположение, что в районе недавно совершенного ограбления риск рецидива повышается, а дать количественную оценку этого риска для каждой отдельно взятой улицы. А если вы предполагаете с высокой степенью уверенности, что в ту или иную ночь грабители посетят тот или иной район, легко написать программу, которая подскажет полиции, где стоит сосредоточить свои силы.

Так появилась программа PredPol (PREDictive POLicing) – “Прогностическая правоохрана”.

Типстер-криминолог

Очень может быть, что программа PredPol вам где-нибудь встречалась. С тех пор как ее начали применять в 2011 году, ей посвятили тысячи публикаций в СМИ – обычно под заголовками, отсылающими к фильму “Особое мнение” с Томом Крузом в главной роли. PredPol среди прочих программ уже как Ким Кардашьян – знаменита на весь мир, журналисты без конца перемывают ей косточки, но никто толком не знает, чем она занимается.

Поэтому я хотела бы несколько умерить ваши ожидания, прежде чем вы подумаете о провидицах, которые плавают в бассейне и выкрикивают предсказания. PredPol никого не выслеживает, пока преступление не совершено. Эту программу вообще интересуют не люди, а географические данные. Да, я вольно употребила слово “предсказание”, но вообще-то алгоритм не может предвидеть будущее. Это не магический кристалл. Он не дает прогноз для происшествий, а только оценивает их потенциальный риск – вроде небольшая разница, но очень существенная.

Представьте себе алгоритм в роли букмекера. Если полицейские встанут перед картой города и сделают ставки на то, где ночью будут совершены преступления, PredPol рассчитает их шансы на выигрыш. Он действует, как типстер на скачках, профессиональный прогнозист, – высвечивает на карте города красными квадратиками “фаворитов” нынешнего вечера среди улиц и районов.

Вопрос в том, оправдает ли “надежды” фаворит нашего советчика. Чтобы проверить проницательность алгоритма[315], ученые провели два независимых эксперимента – состязания программы с лучшими аналитиками из криминальной полиции на юге Англии, в графстве Кент, и в Юго-западном дивизионе полиции Лос-Анджелеса. Это был честный поединок. Алгоритму и человеку было предложено разместить на карте двадцать квадратиков, соответствующих ста пятидесяти квадратным метрам, и таким образом указать места, где, по их мнению, в ближайшие двенадцать часов с наибольшей вероятностью будут совершены преступления.

Прежде чем перейти к подведению итогов, надо отметить, что задача была поставлена довольно каверзная. Мы с вами, не зная почти ничего о криминальном ландшафте Кента и Калифорнии, скорее всего, не придумали бы ничего лучше, кроме как расставить квадратики наобум. Учтите, что они покроют ничтожно малую часть карты – для Кента всего одну тысячную всей территории[316] – и придется каждые двенадцать часов менять расстановку, начиная все сначала. При столь хаотичной игре можно надеяться, что наши с вами “прогнозы” сбудутся менее чем в одном случае из ста[317].

Специалисты справились гораздо лучше. Аналитик из Лос-Анджелеса сумел верно указать места совершения преступлений в 2,1 % случаев[318], а в Кенте его коллега выступил даже лучше, со средним результатом 5,4 %[319] – выдающееся достижение, если вспомнить, что территория Кента раз в десять больше Лос-Анджелеса.

Но алгоритм обошел их обоих. В Лос-Анджелесе он дал вдвое больше верных прогнозов для правонарушений по сравнению со своим живым соперником, а в Англии на одном из этапов эксперимента чуть ли не каждое пятое преступление происходило в зоне красных квадратиков, распределенных по карте математическими методами[320]. PredPol – не магический кристалл, но еще никто и никогда не мог так ясно предвидеть будущее в мире криминала.

Практическое применение прогнозов

Есть одна загвоздка. Компьютер более или менее хорошо предсказывает, где в ближайшие двенадцать часов кто-то нарушит закон, но полиция преследует несколько иную цель – сократить число правонарушений, которые могли бы произойти в ближайшие двенадцать часов. Допустим, алгоритм выдал свой прогноз – каковы ваши дальнейшие действия?

Вариантов несколько. В случае ограбления дома можно установить камеры видеонаблюдения или поставить живых детективов под прикрытием и поймать воров с поличным. Но, наверно, будет лучше для всех, если направить усилия на профилактику преступления. Что бы вы выбрали, если подумать? Заманить злодея в ловушку, став его жертвой? Или не стать жертвой ни при каких обстоятельствах?

Можно предупредить жителей данного района, что их дома под угрозой, посоветовать им сменить замки, установить охранную сигнализацию или выключатели с таймером, чтобы перехитрить жуликов – те решат, что дома кто-то есть, и пойдут дальше. В одном эксперименте, который провели в Манчестере в 2012 году, так и сделали[321], и количество ограблений уменьшилось более чем на четверть. Впрочем, есть один отрицательный момент: по расчетам исследователей, профилактика каждого взлома методом “защиты цели” обходится примерно в 3925 фунтов[322]. Попробуйте продать эту технологию Полицейскому управлению Лос-Анджелеса, которое ежегодно разбирается с пятнадцатью тысячами домовых краж[323].

Другой вариант, так называемая тактика “участковых полицейских”, или “полицейских на точках”, практически ничем не отличается от традиционного патрулирования.

“Раньше, – рассказывал мне бывший сотрудник лондонской полиции Стив Колган, – патрульные делили карту на куски, распределяли участки меж собой и обходили их. Тебе этот участок, тебе тот. Все просто”. Но, как подсчитали в одном британском исследовании, если полицейский обходит случайно выбранный на карте города участок пешком, можно надеяться, что один раз за восемь лет он окажется в радиусе ста метров от места грабежа[324].

По методу “полицейских на точках” патрульные отправляются в те “горячие точки”, которые выделил алгоритм. По-моему, этот метод без всякого преувеличения можно было бы назвать “полицейские на горячих точках”. Суть в том, что если полиция всегда на виду, в нужном месте и в нужное время, то шансы не допустить правонарушения существенно возрастают – уж по крайней мере, когда что-то случится, полицейские отреагируют незамедлительно.

В Кенте именно так и получилось. На втором этапе эксперимента в начале вечерней смены сержант печатал карту, на которой красными квадратами были размечены зоны риска на текущий день. Если все было тихо, полицейский патруль должен был приехать в ближайший такой квадрат, выйти из машины и обойти участок пешком.

В один из таких вечеров на той улице, где при других обстоятельствах патруля не оказалось бы, полицейские заметили женщину с ребенком, иммигрантку из Восточной Европы. Выяснилось, что с ней жестоко обращались дома, а ее ребенок буквально несколько минут назад подвергся сексуальным домогательствам. Дежуривший тогда сержант подтвердил, что “их нашли только потому, что PredPol отметил это место”[325]. Позднее той же ночью в том же районе арестовали подозреваемого.

В ходе испытаний методики “полицейских на точках” алгоритм спас не только эту мать с ребенком – в целом по Кенту преступность снизилась на 4 %. В США, где такой же эксперимент проводила сама компания PredPol, сообщалось о еще более значительном снижении преступности. В лос-анджелесском районе Футхилл за первые четыре месяца применения алгоритма было совершено на 13 % меньше преступлений, в то время как во всех других районах города, где полиция работала по привычной схеме, закон нарушался на 0,4 % чаще. В Алхамбре, пригороде Лос-Анджелеса, с января 2013 года, когда там внедрили эту программу, были достигнуты фантастические результаты: краж со взломом стало меньше на 32 %, а угонов – на 20 %[326].

Цифры эффектные, но на самом деле еще неизвестно, так ли велика заслуга программы PredPol. Тоби Дейвис, математик и криминолог из Университетского колледжа Лондона, сказал мне: “Возможно, [преступность] упала просто потому, что полицейских направили в какие-то районы, неважно, куда именно, и велели им вылезти из машин и прогуляться”.

Надо отметить еще один момент. Раз вероятность засечь правонарушение тем выше, чем усерднее вы его ищете, то журнал учета преступлений обновляется хотя бы потому, что полицейские выехали из участка. “Если полиция на месте, – объяснил Дейвис, – правонарушений регистрируется больше, чем могло бы при других условиях. Даже когда в двух разных местах совершается одинаковое количество преступлений, больше материалов полицейские соберут там, где они сами были, чем там, где их не было”.

Следовательно, тактика расстановки полицейских по точкам таит в себе одну большую потенциальную опасность. Выбирая районы для патрулирования на основании компьютерного прогноза, вы рискуете попасть в петлю обратной связи.

Предположим, в относительно бедном квартале изначально сложилась криминогенная обстановка – тогда алгоритм, наверное, предскажет рост преступности в этом районе. Туда направят больше полицейских, а стало быть, они зафиксируют больше правонарушений. Алгоритм даст еще более печальный прогноз, подтянут дополнительные силы полиции – и так далее. Этот замкнутый круг характерен скорее для попрошайничества, бродяжничества, мелкой наркоторговли и прочих правонарушений, типичных для бедных районов.

В Великобритании разные группы населения то и дело жалуются на недостаточный полицейский контроль на улицах, и, казалось бы, нечестно стягивать все силы полиции в определенные районы. Однако не все питают теплые чувства к полиции. “Можно понять тех, кого раздражает вид полицейского, расхаживающего у них под окнами, даже когда все спокойно, пусть он просто ходит взад-вперед, – говорит Дейвис. – По-хорошему, вы же имеете право на жизнь без неусыпного полицейского надзора, так чтобы полиция не давила на вас”.

Мне кажется, он прав.

Так вот, хороший алгоритм должен быть разработан с учетом привычных для полиции тактики и методик. По крайней мере, теоретически возможно сделать так, чтобы программу не влекло так неудержимо в какой-то один квартал, – скажем, чтобы она высылала наряды полиции как в районы высокого риска, так и туда, где риск поменьше. Однако PredPol – это частная собственность, людям со стороны программа недоступна, и никто не знает, как она работает, поэтому, к сожалению, нет никакой возможности узнать, предусматривает ли она уход от петли обратной связи – или, в более широком смысле, достаточно ли она объективна.

На рынке представлены и другие алгоритмы, кроме PredPol. Один из конкурентов – HunchLab, который собирает самую пеструю статистическую информацию: сведения о зарегистрированных преступлениях, звонки в полицию, данные переписи, а также совсем уж неожиданные параметры вроде фаз луны. В основе алгоритма HunchLab нет конкретной теории. Он не пытается дать ответ на вопрос, почему в одном районе преступления совершаются чаще, чем в других, – он просто отмечает найденные в данных закономерности. Благодаря этому он дает более достоверный прогноз для более разнообразных правонарушений, чем PredPol, который опирается на идею о создании преступниками географических паттернов; но, поскольку эта программа тоже защищена авторскими правами на интеллектуальную собственность, мы, как люди посторонние, не можем поручиться, что она ненароком не ущемит интересы какой-нибудь части общества[327].

Еще один закрытый алгоритм прогнозирования – Strategic Subject List (Стратегический список объектов наблюдения), который взяли на вооружение в Полицейском управлении Чикаго[328]. В этой программе используется принципиально другой подход. Ее задача – определить потенциальных участников перестрелок без учета географических данных. Исходя из различных условий, программа формирует “тревожный список” людей, которые, по ее версии, с наибольшей вероятностью в ближайшем будущем окажутся вовлечены в события с применением огнестрельного оружия, неважно, они будут стрелять или их подстрелят. Идея вполне здравая, ибо сегодняшняя жертва завтра легко может сама стать виновником преступления. И у этого алгоритма благородная цель – тем, кого он отметил, полицейские предлагают записаться на коррекционные программы, чтобы попытаться как-то изменить свою жизнь.

Впрочем, есть основания опасаться, что этот алгоритм не дает ожидаемого эффекта. Как показало недавнее исследование, проведенное некоммерческой организацией RAND Corporation, наличие фамилии в списке ничего не говорит о вероятности участия человека в перестрелке[329]. Однако повышает его шансы попасть за решетку. Исследователи предположили, что в любом инциденте со стрельбой те, кто оказался в поле зрения алгоритма, для полиции становятся подозреваемыми.

Алгоритмы прогнозирования полицейского контроля, несомненно, перспективны, и те, кто их разрабатывает, безусловно, честно делают свое дело с самыми лучшими намерениями. Но и беспокойство из-за возможной необъективности алгоритмов тоже оправдано. На мой взгляд, это слишком важные для справедливого общества вопросы, чтобы мы вот так просто поверили в добросовестное использование таких алгоритмов правоохранительными органами. На этом примере, одном из многих, видно, до какой степени нам необходимы независимые эксперты и контролирующие органы, которые гарантируют нам, что от алгоритма будет больше пользы, чем вреда.

При этом потенциальный вред кроется не только в прогнозах. Как мы уже не раз видели на других примерах, существует реальная опасность того, что под влиянием авторитета алгоритма некорректные результаты приобретут дополнительную весомость. А это может привести к самым неприятным последствиям. Слово компьютера – еще не истина в последней инстанции.

Кто ты, по-твоему?

Дело было в Южном Денвере, в 2014 году. Стив Талли мирно спал у себя дома, и вдруг раздался стук в дверь[330]. Стив открыл и увидел на пороге мужчину, который извинился за то, что случайно задел его машину. Незнакомец попросил Талли взглянуть на повреждения. Талли вышел. Но когда он присел на корточки, чтобы осмотреть переднюю дверь[331], взорвалась светозвуковая граната. Трое невесть откуда взявшихся парней в черных жилетах и шлемах повалили его на землю. Один из них наступил ему на лицо. Другой держал его за руки, а третий принялся избивать его прикладом винтовки.

Талли получил тяжелейшие травмы. Вечер закончился для него сильнейшим нервным потрясением, гематомами и переломом полового члена[332]. “Я и понятия не имел, что можно сломать пенис, – сказал он позднее корреспонденту интернет-издания The Intercept. – В какой-то момент я закричал, стал звать на помощь полицию. Потом понял, что копы уже здесь, они-то меня и лупят”[333].

Стива Талли арестовали по обвинению в ограблении двух местных банков. Во время второго ограбления пострадал полицейский – видимо, поэтому, полагает Талли, его задержание прошло так жестко. “Я сказал им, вы рехнулись! – вспоминает он, как орал на полицейских. – Вы взяли не того!”

Талли был прав. Его арест стал результатом поразительного сходства с человеком, которого искали на самом деле, – с настоящим преступником.

Сообщил полиции о Талли монтер, который увидел фотографии в местных новостях по телевизору, а потом выполнял какие-то работы в его доме, но в конечном счете с программой распознавания лиц работал специалист ФБР – это он изучил видеозапись, сделанную камерой наблюдения[334], и пришел к выводу, что “по-видимому, попавший в кадр подозрительный человек – Талли”[335].

У Талли было железное алиби, но из-за свидетельских показаний сотрудников ФБР на то, чтобы полностью восстановить его доброе имя, ушел год. При этом почти на два месяца, пока не появилось достаточно доказательств для его освобождения, его заперли в камере с самыми суровыми условиями. Он потерял трудоспособность, а к тому времени, когда его мучения закончились, – еще и работу, дом и возможность видеться с детьми. И все это – результат ошибочной идентификации личности.

Двойное видение

В наши дни работу полиции невозможно представить без алгоритмов распознавания лиц. Имея фотографии, видеосъемку и снимки, сделанные стереоскопическими камерами, эти алгоритмы найдут нужное лицо, измерят его характерные параметры, сравнят их с базами данных об уже известных лицах и таким образом определят личность человека на изображении.

В Берлине алгоритмы распознавания лиц, способные определить в толпе находящегося в розыске предполагаемого террориста, натаскивали на видеосъемке многолюдных вокзалов[336]. В США, в одном только штате Нью-Йорк, с 2010 года при содействии таких алгоритмов лишь за мошенничество и хищение персональных данных было арестовано четыре тысячи человек[337]. А курсирующие по английским дорогам фургоны, оснащенные камерами и похожие на модернизированные автомобили службы Google StreetView, автоматически сверяют ваше лицо с лицами из списка находящихся в розыске[338]. В июне 2017 года, в Южном Уэльсе одна из таких машин проехала мимо человека, на арест которого у местной полиции уже был ордер, и новая технология впервые успешно показала себя в деле[339].

Нередко от того, сумеем ли мы идентифицировать и опознать лицо, зависит наша безопасность. Но было бы рискованно полностью доверить решение этой задачи людям. Взять, к примеру, паспортный контроль. Как показало одно недавнее исследование с имитацией работы службы безопасности в аэропорту, профессионалы вроде бы с наметанным глазом в 14 % случаев – а это очень много – пропустили людей с фальшивыми документами, зато 6 % абсолютно законных паспортов не приняли по ошибке[340]. Не знаю, как на ваш взгляд, а по-моему, если подумать, сколько народу ежедневно пропускает аэропорт “Хитроу”, это не просто мелкое недоразумение.

Как мы еще увидим, алгоритмы распознавания лиц справляются со своей работой куда лучше людей. Но если они применяются в уголовном розыске, где ошибки могут привести к катастрофическим последствиям, перед нами встают очень серьезные вопросы. Для начала, легко ли перепутать одного человека с другим? И у многих ли где-то есть такие же опасные двойники, как у Стива Талли?

В 2015 году исследователи высказали мнение в одной работе, что вероятность существования человека, похожего на вас как две капли воды, крайне мала. Теган Лукас из Университета Аделаиды педантично сличала лица четырех тысяч человек на фотографиях по восьми параметрам и не смогла найти ни одного полного совпадения, на основании чего сделала вывод, что шансы встретить двух человек с абсолютно идентичными лицами не дотягивают до одного на триллион[341]. Если судить по этим расчетам, не скажешь, что Талли просто “малость не повезло”. С учетом того, что его уникальный злой двойник проживал в том же районе и оказался к тому же преступником, надо думать, в следующий раз другой невезучий парень влипнет в такую же кошмарную историю лишь через десятки тысяч лет.

Но у нас есть основания полагать, что эти цифры не суммируются механически. Представить себе, что где-то есть ваша точная копия, действительно нелегко, однако кое-какие отдельные факты подтверждают, что не состоящие в родстве “близнецы” встречаются в природе, и гораздо чаще, чем это следует из работы Лукас.

Один из примеров – Нил Дуглас, который направлялся в Ирландию, но обнаружил на своем месте в самолете свой дубликат. Их совместное селфи на фоне хохочущего салона моментально облетело соцсети, и вскоре Дуглас стал получать фото рыжих бородачей со всего мира, желавших присоединиться к компании близнецов. “Кажется, нас уже набралось на небольшую армию”, – сказал Нил в интервью BBC[342].

У меня даже есть собственная история на ту же тему. Когда мне было двадцать два года, кто-то из моих друзей показал мне картинку со страницы местной рок-группы в соцсети MySpace. На подборке фотографий с какого-то концерта, где меня не было, вовсю отрывались веселые люди, и одно лицо показалось мне до боли знакомым. Я написала на электронную почту солисту группы – хотела удостовериться, что я не забрела как-то ночью в бессознательном состоянии на мероприятие, о котором теперь ничего не помню, – и мои опасения подтвердились: не я, а мой клон, любительница синти-попа, отправилась в тот вечер на тусовку.

Итак, у Талли, Дугласа и у меня есть по меньшей мере по одной – а может, и больше – точной копии. Из семи с половиной миллиардов человек нас уже трое – и это только навскидку, – то есть гораздо больше, чем один на триллион, мы уже превысили оценочный результат Лукас.

Такое расхождение в оценках обосновано. Вопрос в трактовке учеными термина “идентичность”. По методике Лукас требовалось полное совпадение всех “мерок” двух разных людей. При всем невероятном сходстве Нила и его двойника, если их ноздри или мочки ушей различались хотя бы на миллиметр, строго говоря, по ее критериям их нельзя было считать двойниками.

Но даже если вы начнете сравнивать две фотографии одного и того же человека, точные измерения не покажут, как мы меняемся в течение жизни с возрастом, из-за болезни или усталости, не учтут выражение лица и его искажение в зависимости от ракурса съемки. Попробуйте зафиксировать до миллиметра все основные признаки, и вы увидите, что один и тот же человек имеет совершенно разные лица, словно совершенно разные люди. Проще говоря, нельзя отличить одно лицо от другого только по меркам.

Тем не менее охотно верю, что Нила Дугласа можно перепутать с его двойником, пусть они и не абсолютно идентичные близнецы. Как и в случае с Талли – бедняга Стив даже не был в той же степени похож на настоящего грабителя, и все равно эксперты из ФБР идентифицировали фото неверно, да так, что его обвинили в преступлении, которого он не совершал, и заперли в камеру самого строгого режима.

Офицеры паспортного контроля продемонстрировали нам, как легко принять на фотографии одного человека за другого, даже если они похожи лишь в общих чертах. На деле выяснилось, что опознать незнакомца нам не под силу. Именно по этой причине моя подруга, по ее собственному признанию, с трудом смогла досмотреть великолепный фильм Кристофера Нолана “Дюнкерк”: никак не могла понять, кто кого играет. По той же причине подростки “берут напрокат” у старших товарищей удостоверения личности и беспрепятственно покупают спиртное. И по той же причине американская юридическая некоммерческая организация The Innocence Project (Проект “Невиновность”) установила, что более 70 % необоснованных обвинительных приговоров выносится из-за ошибок свидетелей при опознании[343].

Однако, если свидетель запросто может обознаться, увидев Нила или его попутчика, то мать Нила, безусловно, найдет сына на фотографии с первого взгляда. Мы безошибочно узнаем лица наших друзей и близких, даже при наличии настоящих двойников – вы с большой вероятностью перепутаете однояйцевых близнецов, с которыми знакомы лишь шапочно, но тех, кого знаете хорошо, различите без труда.

Так вот в чем дело: сходство в глазах смотрящего. Если нет строгого определения для сходства, различия между лицами не поддаются измерению и нет того критического состояния, когда мы можем утверждать, что эти два лица идентичны. Невозможно точно сказать, что значит “двойник” и насколько типично данное лицо, а главное – невозможно точно оценить вероятность того, что лицо на двух картинках принадлежит одному и тому же человеку.

Значит, метод идентификации личности по лицу вовсе не аналогичен анализу ДНК, который уверенно опирается на надежную статистическую базу. При анализе ДНК в криминалистике профиль составляют по фрагментам генома, заведомо отличающимся у разных людей. Ключевой момент заключается как раз в степени различий – если в добытом на месте преступления биоматериале и в образце, взятом для анализа у подозреваемого, последовательности ДНК совпадают, то можно рассчитать вероятность того, что обе пробы получены из одного источника. Кроме того, можно сказать, с какой вероятностью по чистой случайности точно такая же последовательность ДНК в этих фрагментах окажется еще у какого-нибудь бедолаги[344]. Чем больше маркеров используется в экспертизе, тем меньше шансов ошибиться, поэтому в каждой стране судебная власть имеет полное право постановить, сколько генетических маркеров необходимо проверить, чтобы обеспечить необходимый и приемлемый для судей уровень достоверности[345].

Пусть даже нам кажется, что черты лица объективно связаны с личностью человека, без понимания тонких различий между людьми метод идентификации правонарушителей по лицам не имеет строгой научной основы. Что же касается опознания людей по фотографиям, то вот вам цитата из презентации, представленной криминалистами ФБР: “Из-за недостаточности статистических данных заключение носит исключительно субъективный характер”[346].

К сожалению, мы не можем решить эту проблему, попросив алгоритм провести опознание вместо нас, и, в частности, поэтому идентифицировать преступников с его помощью следует крайне осторожно. Как бы ни был точен алгоритм, сходство и идентичность – не полные синонимы и никогда ими не станут.

Осмотрительность в работе с алгоритмами распознавания лиц следует проявлять и по другой причине. Не так уж хорошо они различают лица, как вам, возможно, кажется.

Один на миллион?

Сами алгоритмы используют один из двух подходов. В первом строится объемная модель лица – либо наложением множества плоских изображений, либо с помощью сканирования лица специальной инфракрасной камерой. Так работают идентификаторы лица в айфонах. Такие алгоритмы научились уходить от трудностей, связанных с изменением выражения лица и старением, – для них важнее всего те зоны лица, где есть твердые ткани и кости, например, изгибы орбиты глаза и валика носа.

По заверениям Apple, шансы на то, что кто-нибудь взломает ваш айфон с помощью идентификатора лица, составляют один на миллион, однако алгоритм небезупречен. Его могут обмануть близнецы[347], родные братья и сестры[348], дети, стащившие родительский телефон. Так, вскоре после внедрения этой технологии появилось видео о десятилетнем мальчике, который легко справился с фейс-контролем маминого айфона. С тех пор его мама стирает не предназначенные для детских глаз сообщения[349]. Был случай, когда алгоритм ввела в заблуждение специально отпечатанная на 3D-принтере маска с инфракрасными наклейками вместо глаз[350]. Из всего этого следует, что алгоритм можно использовать для разблокирования телефона, однако это не самый надежный инструмент для доступа к банковскому счету.

При сканировании фотографий в паспорте и видеозаписей с камер наблюдения толку от 3D-алгоритмов не намного больше. Для этого понадобятся алгоритмы другого типа, которые проводят статистический анализ плоского изображения. Они не пытаются, как мы с вами, найти особые приметы, отличающие одно лицо от другого, а формируют статистическое описание распределения на картинке освещенных и затененных участков. Как в случае с алгоритмами распознавания собак из главы “Медицина”, ученые недавно пришли к выводу, что эффективнее предоставить алгоритму достаточно обширную подборку лиц и позволить ему самостоятельно, методом проб и ошибок, выбирать наиболее подходящие комбинации, а не надеяться на то, что люди найдут правильные варианты. Как обычно, это сделали с помощью нейросетей. Именно такие алгоритмы работают там, где в последнее время произошел качественный рывок в производительности и точности. Впрочем, производительность эта сопряжена с издержками. Не всегда можно точно понять, как именно алгоритм приходит к выводу, похожи два лица или нет.

Это означает, что даже такие ультрасовременные алгоритмы легко сбить с толку. Поскольку они составляют статистическое описание распределения света и тени на лице, достаточно надеть очки с оригинальной оправой и декором на стеклах, и алгоритм запутается. Более того, если разрисовать очки так, чтобы декор дал сигналы, схожие с чужим лицом, можно заставить алгоритм выдать решение, что вы и есть тот самый человек – парень на фото ниже воспользовался этим приемом, нацепив очки, в которых он выглядит в точности как Мила Йовович[351]. Очки для маскировки? Похоже, Кларк Кент что-то знал.

Оставим выходки с экстравагантными очками – возможности статистических алгоритмов в распознавании лиц были отмечены во множестве восторженных публикаций, и, в частности, на все лады расхваливали гугловский FaceNet. Чтобы проверить зоркость этого алгоритма, ему велели опознать 5000 лиц известных людей. Предварительно то же задание выполнили на отлично живые эксперты, которые угадали в 97,5 % случаев – что неудивительно, потому что известные всему миру лица участникам эксперимента тоже были известны[352]. Но FaceNet выступил еще лучше, добившись феноменальной точности 99,6 %.

Вроде бы выходит так, что в распознавании лиц машины превзошли человека. Казалось бы, при столь блестящих результатах мы с полным правом можем применять алгоритмы для опознания преступников. Однако тут кроется один подвох. На самом деле для тестирования алгоритма пять тысяч лиц – это очень мало. Когда его задействуют в борьбе с преступностью, ему придется выловить одно-единственное лицо не из нескольких тысяч, а из нескольких миллионов.

Ибо в базе данных британской полиции насчитывается девятнадцать миллионов лиц – изображений, созданных по фотографиям тех, кого арестовали по подозрению в совершении преступления. А вот ФБР располагает коллекцией в 411 миллионов изображений, и, по некоторым источникам, в нее входят лица половины взрослого населения Америки[353]. В Китае же, где база данных об удостоверяющих личность документах позволяет без труда получить сведения о миллиардах лиц, программы распознавания лиц уже получили мощную поддержку государства. На улицах, в метро и аэропортах – повсюду установлены камеры видеонаблюдения, от объективов которых не уйдет ни объявленный в розыск преступник, ни беспечный пешеход, гуляющий по городским улицам[354]. (Говорят даже, что всякие незначительные провинности вроде брошенного на улице мусора учитываются в рейтинге граждан, в системе Sesame Credit, – со всеми вытекающими последствиями для нарушителей порядка, о которых рассказывалось в главе “Персональные данные”.)

Возникает проблема: с ростом числа лиц в базе данных многократно увеличивается вероятность ошибочной идентификации. Чем больше лиц просматривает алгоритм, тем больше у него шансов отыскать два похожих. Поэтому, когда те же алгоритмы работают с более обширной подборкой изображений, их точность резко падает.

Допустим, мне дали десять удостоверений личности незнакомых людей и предложили сказать, которое из них чье; допустим, я прошла тест на отлично – стало быть, сумею узнать любого человека по изображению его лица, поэтому меня отправили в центр Нью-Йорка высматривать в толпе преступников, на которых имеется ориентировка. Очевидно, я не смогу продемонстрировать тот же высокий уровень точности.

То же самое происходит с алгоритмами. В 2015 году Вашингтонский университет провел конкурс MegaFace – специалистам со всего мира предложили протестировать свои алгоритмы распознавания лиц на базе данных объемом в миллион изображений[355]. Хоть и ближе к реальности, но существенно меньше, чем содержится в каталогах госорганов. И все равно алгоритмы выдержали экзамен не слишком успешно.

FaceNet компании Google, почти безупречно выполнивший задание со знаменитостями, показал неожиданно невысокий результат – идентифицировал верно всего лишь 75 %[356] изображений. Другие алгоритмы дали всего лишь 10 % верных ответов. На то время, когда писалась эта книга, чемпионом был китайский продукт Tencent YouTu Lab, точность которого в распознавании лиц составила 83,29 %[357][358].

Иными словами, если бы вы искали конкретных преступников в веренице миллионов цифровых изображений, то, судя по приведенным результатам, вы упустили бы каждого шестого – и это при самом благоприятном исходе.

Однако следует помнить, что эта область знаний стремительно развивается. Точность ответов неуклонно повышается, и как будут обстоять дела через годы или через несколько месяцев, никто не знает. Могу сказать лишь, что различные позы и внешний вид объектов, освещенность и качество изображения – все эти детали страшно усложняют создание надежного и точного инструмента для распознавания лиц. До идеальной точности поиска нужного лица среди четырехсот миллионов нам еще довольно далеко, и мы пока не можем найти того самого единственного на триллион, полностью идентичного двойника.

Подводим баланс

Факты удручающие, но это не повод опускать руки. Некоторые алгоритмы работают достаточно хорошо, чтобы их можно было использовать для определенных целей. Так, в канадской провинции Онтарио люди с игровой зависимостью добровольно записываются в черные списки казино. Если кому-то из них не хватит силы воли, алгоритм распознавания отметит лицо этого человека, и сотрудники казино вежливо попросят его удалиться[359]. Конечно, это несправедливо по отношению к тем, кому ни за что испортили вечер, хотя они просто хотели развлечься, но я убеждена в оправданности такой жертвы, если это помогает завязавшим игроманам бороться со старыми пороками.

Так и в розничной торговле. Офисы охраны в магазинах всегда были увешаны фотокарточками воришек – теперь, едва вы войдете в дверь, алгоритм сверит вашу личность с базой данных магазинных воров. Если ваше лицо совпадает с лицом уже засветившегося злоумышленника, дежурные сотрудники охраны получат на смартфоны сообщение и смогут выследить вас в проходах торгового зала.

У магазинов есть резон заинтересоваться такой технологией. Только в торговых заведениях Великобритании ежегодно совершается примерно 3,6 миллиона правонарушений, что наносит ретейлерам немалый ущерб – 660 миллионов фунтов[360]. А если принять во внимание, что в 2016 году в американских магазинах из-за насильственных действий погиб 91 подозреваемый в воровстве[361], то, пожалуй, для всеобщего блага лучше вовсе не пустить рецидивиста в магазин, прежде чем дело примет серьезный оборот.

Однако высокотехнологичные методы борьбы с магазинными ворами имеют свои недостатки, например, связанные с нарушением неприкосновенности частной жизни. Компания FaceFirst, один из главных поставщиков программного обеспечения для систем безопасности, утверждает, что не хранит фотографии постоянных покупателей, но, безусловно, магазины пользуются системой распознавания лиц для отслеживания наших трат. В связи с этим возникает вопрос, кто рискует попасть в черный список компьютера. Кто сказал, что в черный список всех заносят обоснованно? И как же презумпция невиновности, не пойман – не вор? Что станется с теми, чьи фамилии оказались в черном списке случайно, – как им избавиться от клейма? Опять же всегда есть шанс, что алгоритм, для которого стопроцентная точность просто недостижима, ошибется при опознании.

Вопрос в том, что перевешивает – плюсы или минусы. Простого ответа нет. Даже ретейлеры не могут прийти к единому мнению. Одни с энтузиазмом хватаются за новые технологии, другие стараются держаться от них подальше, и в числе последних сеть Walmart, чьи надежды на прибыль от инвестиций не оправдались, поэтому компания прекратила эксперимент FaceFirst в своих магазинах[362].

Но в сфере борьбы с преступностью, по-видимому, гораздо легче найти баланс пользы и вреда. В самом деле, далеко не только алгоритмы распознавания лиц стоят на шатком статистическом фундаменте. Никто не знает, какова вероятность ошибки в экспертизе отпечатков пальцев[363], следов укуса, разлета брызг крови[364] или в баллистической экспертизе[365]. По сообщениям Национальной академии наук США 2009 года, ни один из применяемых в криминалистике методов, кроме анализа ДНК, “не доказывает связи между уликами и данным человеком или источником”[366]. Тем не менее нельзя отрицать, что все эти методы подтвердили свою практическую ценность и важность для полицейского расследования – при условии, что полиция не придает полученным с их помощью доказательствам излишний вес. Пожалуй, если есть хоть малейший риск повторения дела Стива Талли, нельзя пользоваться несовершенной технологией, которая увеличит вероятность лишения человека свободы. Но все-таки подобные истории погоды не делают. Потому что при всех колоссальных минусах ловли преступников с помощью методов распознавания лиц у этих технологий есть еще и большие жирные плюсы.

Трудный выбор

В мае 2015 года по Манхэттену бегал человек с молотком и нападал на случайных прохожих. Сперва он подбежал к группе людей рядом с Эмпайр-стейт-билдинг и размозжил затылок двадцатилетнему парню. Спустя шесть часов он направился на Юнион-сквер и тем же молотком ударил в висок мирно сидевшую на скамейке женщину. Всего через несколько минут он объявился вновь – на этот раз его жертвой стала женщина тридцати трех лет, которая шла по улице вдоль парка[367]. Алгоритм распознавания лиц сумел идентифицировать его личность по видеозаписи с камеры наблюдения – это был Дэвид Бэрил, и за несколько месяцев до своей акции он выложил в Instagram фото забрызганного кровью молотка[368]. Его признали виновным в нападениях и приговорили к двадцати двум годам тюремного – заключения.

Некоторые считавшиеся безнадежными дела подняты из архивов тоже благодаря прогрессу в технологии распознавания лиц. В 2014 году алгоритм привел на скамью подсудимых американца, пятнадцать лет скрывавшегося под чужим именем. Нил Стаммер, обвиняемый в нескольких преступлениях, включая похищения и сексуальные домогательства к детям, сбежал из-под залога. После того как картинку с объявления ФБР о розыске сверили с базой паспортных данных и нашли в Непале человека с таким же лицом и паспортом, под фотографией в котором стоит другое имя[369], Стаммера арестовали снова.

Летом 2017 года во время теракта на Лондонском мосту погибли восемь человек, и теперь я понимаю, какую пользу могла бы принести система, использующая такой алгоритм. Одним из трех мужчин, направивших свой фургон на пешеходов, а затем устроивших резню на близлежащем рынке Боро, был Юссеф Загба. Его объявили в розыск в Италии как подозреваемого в терроризме, и алгоритм распознавания лиц мог бы изобличить его автоматически еще до того, как он попал в нашу страну.

Но как найти компромисс между правом на неприкосновенность частной жизни и на защиту общества, между справедливостью и безопасностью? Сколько Стивов Талли мы готовы отдать в обмен на быстрое обнаружение таких личностей, как Дэвид Бэрил и Юссеф Загба?

Давайте посмотрим статистику нью-йоркского полицейского управления. Сообщается, что в 2015 году в результате успешного опознания 1700 подозреваемых было произведено 900 арестов, при том что ошибочно опознали пять человек[370]. Как бы туго ни пришлось этим пятерым, вопрос остается открытым – устраивает ли нас такое соотношение? Та ли это цена, которую мы готовы заплатить за сокращение преступности?

Оказывается, алгоритм без изъянов, вроде алгоритма геопрофилирования Кима Россмо, который мы обсуждали в начале этой главы, – скорее исключение, чем правило. В борьбе с преступностью любой алгоритм, какой ни возьми, с одной стороны вселяет большие надежды, с другой – внушает сильную тревогу. PredPol, HunchLab, Strategic Subject Lists и алгоритмы распознавания лиц – все они сулят нам решение всех проблем и одновременно создают новые проблемы.

Насколько я могу судить, именно в сфере уголовного права, где само существование алгоритмических систем вызывает вопросы, на которые нет простых и ясных ответов, наиболее остро проявляется насущная потребность в их регулировании. Так или иначе, нам предстоит столкнуться с проблемой трудного выбора. Памятуя о том, что, когда собственники алгоритма передадут нам его, он может оказаться не столь прекрасным (а преступность может вырасти), – должны ли мы требовать применения только тех алгоритмов, в которых нам все понятно и в механизм которых мы можем вникнуть? Следует ли отказаться от математической системы, в которой технологически заложена необъективность или возможность ошибки, если мы понимаем, что при этом требуем от машины более высокого уровня, чем тот, что обеспечат нам люди? Когда необъективная система становится уж слишком необъективной? В какой момент потенциальные жертвы преступления станут вам дороже жертв алгоритма?

Отчасти вопрос сводится к тому, как мы, все общество в целом, представляем себе благополучие. Что для нас главное? Как можно более низкий уровень преступности? Или превыше всего свобода невиновных? В какой степени вы готовы пожертвовать первым ради второго?

Это очень хорошо сформулировал профессор социологии из Массачусетского технологического института Гэри Маркс в интервью газете Guardian: “В Советском Союзе в самые страшные годы тоталитаризма и диктатуры уличная преступность держалась на поразительно низком уровне. Но, боже правый, какой ценой?”[371]

Возможно, в конце концов мы захотим ограничить сферу деятельности алгоритмов. Придем к выводу, что не все поддается анализу и расчету. Что есть какие-то чувства, которые плохо укладываются в рамки уголовного права. Наверное, не потому, что алгоритмы их не испытывают. Просто потому, может быть, что некоторые вещи не входят в компетенцию равнодушной машины.

Искусство

Джастин пребывал в задумчивости. Четвертого февраля 2018 года он сидел в своей гостиной в Мемфисе, штат Теннесси, и смотрел по телевизору матч Суперкубка, поедая M&M’s. Неделю назад он отметил свой тридцать седьмой день рождения и теперь, по ставшей уже ежегодной традиции, размышлял о том, как сложилась его жизнь.

Джастин понимал, что вообще-то должен быть благодарен судьбе. Все у него шло как по маслу. Стабильная офисная работа с девяти до пяти, крыша над головой, семья, которая его любит. Но ему всегда хотелось чего-то большего. В юности ему казалось, что он создан для славы и удачи.

Как же так вышло, что он стал таким… нормальным? “Это все рок-группа, – подумал он. Где он стал играть в четырнадцать лет. – Если бы нас тогда заметили, все пошло бы по-другому”. Но они не добились успеха, неважно по какой причине. Бедняга Джастин Тимберлейк так и не увидел настоящего успеха.

Вконец расстроившись, он открыл еще одну банку пива и стал думать о том, что могло бы быть. Реклама в перерыве Суперкубка закончилась. Заиграла музыка, и началось грандиозное шоу. А в параллельной вселенной – точно такой же, за исключением одной мелочи – публика рукоплескала другому тридцатисемилетнему Джастину Тимберлейку из Мемфиса.

Много миров

Почему настоящий Джастин Тимберлейк так преуспел в жизни? И почему не преуспел другой Джастин Тимберлейк? Кто-то (в том числе и я в 14 лет[372]) сказал бы, что Джастин заслужил статус поп-звезды, что его одаренность, приятная внешность, способности к танцу и художественные достоинства музыки не могли не принести ему славу. Но кто-то возразил бы. Мог бы сказать, что ни Тимберлейк, ни любая другая поп-звезда, на которую молятся легионы фанатов, ничем особенно не выделяются. Талантливые люди, способные петь и танцевать, попадаются на каждом углу, а звезды – это те из них, кому просто повезло.

Конечно, утверждать ничего нельзя. Разве что вы создадите несколько параллельных миров, запустите в каждый из них по Тимберлейку, проследите за развитием всех инкарнаций и тогда увидите, везде ли Тимберлейк достигнет популярности. К сожалению, вряд ли многие из нас могут создать искусственную мультивселенную, но, если оставить Тимберлейка в покое и обратить внимание на менее известных музыкантов, можно заняться сравнительным анализом значимости везения и таланта для популярности хитов.

В этом и заключалась суть знаменитого эксперимента с несколькими цифровыми мирами, который поставили еще в 2006 году Мэтью Салганик, Питер Доддс и Дункан Уоттс. Ученые создали свой собственный онлайн-плеер наподобие интернет-сервиса Spotify, загрузили одни и те же 48 песен в исполнении неизвестных певцов на восемь параллельных музыкальных сайтов и рассредоточили по ним пользователей.

В “Музыкальную лабораторию”[373][374] заглянули 14 341 человек, и всем им предложили зарегистрироваться, прослушать все песни, оценить их, а те, что понравились больше всего, скачать.

Как и на настоящем Spotify, гости сайта могли посмотреть, что слушают другие “обитатели” того же “мира”. Помимо имени исполнителя и названия песни участники эксперимента видели, сколько раз уже скачали ту или иную запись в их ветке.

Сначала все счетчики выставили на ноль, но постепенно, по мере изменения суммарных показателей, становилось ясно, какие песни в каждой из восьми веток пользуются наибольшим успехом.

Вместе с тем, чтобы получить некую независимую оценку “истинной” популярности песен, экспериментаторы создали контрольный “мир”, где выбор слушателей не зависел от мнения других людей. Песни появлялись в случайном порядке, списком или в сетке, но статистика скачиваний не показывалась.

Результаты эксперимента оказались весьма любопытными. Какие-то песни с треском провалились во всех мирах. Другие шли впереди с большим отрывом – им в итоге отдали предпочтение везде, даже там, где слушатели не знали, сколько раз их скачивали. Но между абсолютными хитами и откровенными неудачами исполнители могли попасть буквально на любую строчку рейтинга.

Возьмем, к примеру, панк-группу из Милуоки 52Metro – посетителям одного мира их песня Lockdown очень понравилась, и в конце концов она заняла первое место, а в другом ее ожидало фиаско и сороковое место из сорока восьми возможных. Одна и та же песня, одни и те же соперники в списке; просто в этом отдельно взятом мире группа не набрала очки[375]. Иногда успех зависел от везения.

При том что конкурсантов вели к вершине разные дорожки, исследователи заметили, что слушатели скачивали записи гораздо охотнее, если знали, что они понравились еще кому-то. Случайно попав на верхние строки рейтинга, не самая удачная песня начинала быстро собирать голоса. Чаще скачивали то, что чаще скачивали. Популярность кажущаяся выливалась в самую настоящую, то есть конечный успех был просто приумноженной с течением времени случайностью.

Такие результаты можно объяснить. В психологии это называется социальным доказательством, или информационным социальным влиянием. Если нам не хватает информации, чтобы составить собственное мнение, мы нередко повторяем за другими. Поэтому в театрах иногда подсаживают в зрительный зал своих людей, чтобы они хлопали и смеялись в нужных местах. Услыхав рядом аплодисменты, мы, скорее всего, их поддержим. Что касается предпочтений в музыке, вам вовсе не обязательно захочется послушать то, что слушают другие, но популярность – это быстрая подсказка, которая гарантирует, что вы не обманетесь в своих ожиданиях. “Выбор чересчур широк, – сказал тогда Салганик интернет-журналу LiveScience. – Вы же не можете прослушать всё, поэтому самый рациональный путь – послушать то, что слушают все остальные”[376].

Во всех областях развлекательной индустрии популярность – это эквивалент качества. Так, в 2007 году в одном исследовании изучали, как влияло включение книги в топ-лист газеты New York Times на общественное мнение о ней. Алан Соренсен, автор исследования, проанализировал принципы рейтингового отбора и сравнил популярность книг, которые, судя по продажам, должны были бы попасть в топ-лист, но не попали из-за каких-либо задержек или по чистой случайности, с популярностью тех, что были отмечены газетой. Он заметил четкую корреляцию: одного только включения в топ-лист было достаточно, чтобы продажи книги повысились в среднем на 13–14 %, а для ранее не известных авторов – на 57 %.

Чем больше мы шарим по разным сайтам в поисках модных новинок – просматриваем топ-листы книг, рейтинги на Amazon, Rotten Tomatoes[377], хит-парады Spotify, – тем важнее становится для нас общественное мнение. Когда голова идет кругом от широчайшего выбора, эффект только усиливается, да и маркетинговые ходы, звездные имена, шумиха в прессе и обзоры критиков не проходят мимо нашего внимания.

Поэтому самая бездарная музыка может оказаться вверху чарта. И мой цинизм тут ни при чем. Рассказывают, что в девяностых годах два британских музыкальных продюсера, сильно обеспокоенные этим явлением, поспорили, кто сумеет раскрутить самую плохую песню до места в хит-парадах. Говорят, в их споре родилась группа Vanilla, в составе которой пели четыре девушки и которая дебютировала с песней No way no way, mah na mah na, сделанной по образцу песенки Mah na mah na из знаменитого “Маппет-шоу”. Пением это можно было назвать лишь условно, обложка сингла выглядела так, словно ее изготовили с помощью редактора Microsoft Paint, а промоклип, бесспорно, был достоин худшей оценки в своем жанре. Однако у “ванильных” девушек была мощная поддержка. Благодаря публикациям в нескольких журналах и появлению в музыкальной программе ВВС Top of the Pops песенка все-таки пробилась на четырнадцатую строчку хит-парада[378].

Надо признать, группа недолго купалась в лучах славы. Когда вышел второй сингл, ее популярность уже сошла на нет. Третий так и не увидел свет. Судя по всему, можно предположить, что общественное мнение – не единственный решающий фактор успеха, и следующий эксперимент “Музыкальной лаборатории” это подтвердил.

В целом свой второй эксперимент исследователи провели по старой схеме. Но на этот раз они изобрели один остроумный прием, чтобы посмотреть, до какой степени кажущаяся популярность превращается в самореализующийся прогноз. Как только наблюдатели замечали, что хит-парады в каждой ветке стабилизируются, они приостанавливали голосование и переворачивали таблицу вверх ногами. Чемпионов чарта новые пользователи интернет-плеера видели внизу, а бывшие безнадежные лузеры показывались как лучшие из лучших.

Общее количество скачиваний обвалилось практически мгновенно. Когда песни с верхних строчек перестали радовать, аудитория и вовсе потеряла интерес к трекам с этого сайта. Заметнее всего число скачиваний уменьшилось для тех аутсайдеров, которые теперь взлетели на самый верх. При этом сосланные на дальние позиции достойные песни оценивались хуже, чем прежде, когда они были наверху, однако все равно лучше, чем их предшественницы из конца чарта. Если бы эксперимент продолжался достаточно долго, самые популярные хиты восстановили бы свою репутацию. Вывод: рынок не застывает в каком-то одном состоянии. Важны и везение, и качество.

Вернемся в реальность – в тот единственный мир с имеющимися в нем исходными данными, где результаты эксперимента, поставленного в “Музыкальной лаборатории”, интерпретируются просто и ясно. Качество – важное свойство, отличное от популярности, и оно играет свою роль. Тот факт, что лучшие песни отстояли свои позиции, говорит о том, что какая-то музыка может быть изначально “лучше”. С одной стороны, великолепной песне в прекрасном исполнении успех предначертан судьбой (по крайней мере, так должно быть). Но подвох в том, что обратное верно далеко не всегда. Если что-то становится модным, отсюда вовсе не следует, что это что-то окажется надлежащего качества.

А вот что такое надлежащее качество – совсем другой вопрос, и очень скоро мы к нему вернемся. Впрочем, не для всех и не всегда само по себе качество так уж критично. Если у вас студия звукозаписи или издательство, или если вы кинопродюсер, цена вопроса, умеете ли вы находить заведомо успешные проекты, – миллионы долларов. Нельзя ли поручить отбор хитов алгоритму?

Хитовый промысел

Инвестирование в кино – рискованный бизнес. Прибыль приносят немногие проекты, большей частью они едва окупаются, а изрядную долю кинопродукции составляют фильмы неудачные[379][380]. Ставки высоки – затраты на производство доходят до десятков, а то и сотен миллионов долларов, и ошибки в оценке зрительского интереса порой обходятся катастрофически дорого.

В 2012 году студия Disney, выпустив фильм “Джон Картер”, убедилась в этом на собственном горьком опыте. Съемки стоили киностудии 350 миллионов долларов, и предполагалось, что это кино станет еще одной крупной франшизой наряду с “Историей игрушек” и “В поисках Немо”. Не смотрели? Я тоже. Лента не нашла отклика в душах зрителей, дело кончилось убытком в 200 миллионов долларов и отставкой главы Walt Disney Studios[381].

Сильные мира Голливуда признают, что точно предсказать коммерческий успех фильма невозможно. В этой сфере все держится на шестом чувстве. Всегда есть шанс сделать ставку на фильм, который впоследствии обрушит кассу. Вот что сказал в 1978 году Джек Валенти, тогда президент Американской ассоциации кинокомпаний: “Никто не скажет вам, как поведет себя фильм на рынке. Пока не начнется кино и в темном зале между экраном и зрителями не пролетит какая-то искра, вы этого не узнаете”[382]. Спустя пять лет, в 1983 году, Уильям Голдман, автор сценариев к фильмам “Принцесса-невеста” и “Бутч Кэссиди и Санденс Кид”, сформулировал ту же мысль коротко и ясно: “Никто ничего не знает”[383].

Но, как мы уже не раз убеждались, прогнозирование того, что вроде бы не поддается прогнозу, для алгоритмов – дело привычное. Почему в кино должно быть иначе? Интерес к ленте, прибыль и отзывы критиков можно измерить. Различные факторы, касающиеся ее особенностей и структуры, как то: звездность актерского состава, жанр, бюджет, продолжительность демонстрации, характерные детали сюжета и прочие, – все это тоже можно оценить в цифрах. Тогда почему бы не поискать крупную жемчужину с помощью уже известных методов? Можно ли отобрать те фильмы, которым на роду написан кассовый успех?

Эта грандиозная задача подстегнула ряд новых исследований, в ходе которых ученые постарались проникнуть в тайны и глубины богатейшего пула информации, собранной и обработанной такими сайтами, как Internet Movie Database (IMDb, база данных о кино) и Rotten Tomatoes. Оказалось – и вполне ожидаемо, – что из этих данных можно сделать кое-какие любопытные выводы.

Для примера посмотрим работу Самита Сринивасана 2013 года[384]. Он выяснил, что на сайте IMDb, где пользователям предлагалось отметить ленты ключевыми для сюжета словами, составлен подробнейший каталог указателей, по которому можно судить об эволюции наших предпочтений в кино. Ко времени его исследования каталог IMDb насчитывал два миллиона наименований фильмов, снятых за сто с лишним лет, и сюжету каждого из них отвечало множество тегов. Одни ключевые слова – например, “организованная преступность” и “отцы и дети” – описывали фильм в общих чертах, в других действие ассоциировалось с местом (“Манхэттен, Нью-Йорк”) или указывались специфические детали сюжета (“держать на прицеле”, “привязан к стулу”).

По одним только ключевым словам видно, как вдруг вспыхивает интерес зрителей к определенным деталям сюжета; взять, к примеру, фильмы о Второй мировой войне или те, в которых поднимается тема абортов. Сразу вслед за выходом такого кино выпустят еще несколько картин на ту же тему, после чего наступит затишье. По совокупности всех тегов Сринивасан смог оценить по шкале от нуля до единицы новизну идей в каждой ленте на момент ее выпуска и сопоставить эти оценки с кассовыми сборами.

Если какой-то поворот сюжета или его характерная особенность – скажем, обнаженное женское тело или мафия – уже встречались в фильмах прошлых лет, ключевое слово приносило ленте мало очков за новизну. В свою очередь, любые оригинальные решения – например, введение восточных единоборств в боевики семидесятых годов – существенно повышали индекс новизны, при условии, что это решение появлялось на экране впервые.

Как выяснилось, мы воспринимаем новинки неоднозначно. В среднем больше сборов делали ленты с более высокими индексами новизны. Но до известного предела. Стоит только передавить и превысить определенный порог новизны – и жди беды; если этот показатель был выше 0,8, прибыли, которые мог принести фильм, резко падали. Исследование Сринивасана подтвердило давние подозрения социологов – банальность нас отталкивает, но и совсем незнакомое мы тоже принимаем в штыки. Лучшее кино занимает позиции в узкой зоне золотой середины между “новым” и “не самым новым”.

Индекс новизны мог бы подсказать киностудиям, как уберечься от финансирования провальных проектов, однако он не поможет узнать судьбу конкретной ленты. Пожалуй, здесь полезнее была бы работа европейских исследователей. Они установили корреляцию между количеством изменений, внесенных в статью о фильме в “Википедии” за последний месяц перед премьерой, и финальной суммой кассовых сборов[385]. Правят статьи нередко люди, не имеющие отношения к выходу фильма на экраны, – это просто фанаты кино, которые добавляют в статью какую-то информацию. Если статью многократно редактировали, значит, новое кино вызвало интерес, что, в свою очередь, приводит к более высоким финансовым показателям.

В целом этот метод имел весьма скромную прогностическую ценность – верный прогноз прибыли был дан для 70 лент из 312 с точностью 70 % и выше. Но чем удачнее шел прокат и чем активнее корректировалась статья в “Википедии”, тем больше информативных данных получали исследователи и тем точнее становились их прогнозы. Для шести высокодоходных лент кассовые сборы были предсказаны с точностью 99 %.

Эти исследования интересны в научном плане, однако инвесторам мало толку от модели, которая работает только за месяц до выхода фильма в прокат. А что, если попытаться решить задачу авансом, то есть исходя из уже известных фактов, таких как жанр, популярность актеров, занятых в главных ролях, возрастные ограничения (“рекомендовано для просмотра с родителями”, 12+ и так далее), с помощью алгоритма машинного обучения рассчитать вероятность успешного проката?

В 2005 году такое исследование было проведено и имело резонанс – были предприняты попытки использовать нейросеть для прогнозирования популярности фильмов задолго до их появления на экранах кинотеатров[386]. Авторы работы решили максимально упростить задачу, поэтому не стали заниматься предсказаниями точной суммы выручки, а рассортировали ленты по девяти категориям от самых провальных до лидеров проката с огромными сборами. К сожалению, даже с таким упрощением результаты не порадовали. Тогда нейросеть показала себя лучше всех предыдущих статистических методик, но все равно в среднем оценила фильмы верно всего лишь на 36,9 %. Чуть более точным было попадание в топовой категории, для фильмов с предполагаемой выручкой свыше двухсот миллионов долларов, – блокбастеры нейросеть определила с точностью 47,3 %. Но инвесторы посматривают на все это с недоверием. Порядка десяти процентов тех лент, которым алгоритм прочил бешеный успех, на деле принесли, по голливудским меркам, жалкие гроши – меньше двадцати миллионов долларов.

С тех пор ученые еще не раз пытались повысить точность прогнозов, но существенного прорыва в этой области не произошло. Все факты свидетельствуют об одном и том же – пока нет данных о реакции тех, кто уже посмотрел кино, предсказать его дальнейшую судьбу почти невозможно. Если надо выбрать кассовую ленту среди многих других, прав Голдман. Никто ничего не знает.

Количественная оценка качества

Итак, прогнозирование популярности – дело сложное. Мы знаем, что нам нравится, но не всегда знаем почему. Для алгоритма, работающего в сфере искусства, это серьезная помеха. Если “качество” нельзя объяснить популярностью, то как еще его измерить?

Это существенный момент – если мы требуем от алгоритма какой бы то ни было самостоятельности в искусстве, неважно, создания новых произведений или грамотного анализа наших собственных творений, нам потребуются некие единицы измерения качества. Надо предложить алгоритму объективный метод для верной оценки, своего рода эмпирический эталон для сравнения. Что-нибудь наподобие “эти клетки – злокачественные” или “такой обвиняемый склонен к нарушению закона”, только применительно к искусству. Иначе мы ничего не добьемся. Если мы не сможем дать определение понятию “хорошо”, нам не создать алгоритма, который сочинил бы “хорошую” песню или выбрал бы ее среди других.

К сожалению, в поисках объективной меры качества мы погружаемся в давнюю и бесконечную философскую дискуссию, начатую еще во времена Платона. Споры на эту тему не утихают вот уже больше двух тысячелетий. Как оценить эстетическую ценность произведения искусства?

Одни философы, в частности Готфрид Лейбниц, утверждали, что, если мы все восхищаемся чем-либо, например, “Давидом” Микеланджело или “Реквиемом” Моцарта, значит, есть некая поддающаяся определению и измерению сущность красоты, поэтому произведения искусства можно сравнивать.

С другой стороны, люди редко бывают единодушны в оценках. Другие философы – например, Дэвид Юм – придерживались мнения, что красоту каждый понимает по-своему. Кто-то видит в известном произведении Энди Уорхола интереснейший эстетический эксперимент, а кто-то – консервную банку с супом, ничем не примечательную в художественном отношении.

Но есть и третья группа философов – Иммануил Кант в их числе, – которые считали, что истина где-то посередине. Что наши суждения о красоте не то чтобы зависят только от нашего личного вкуса, но и не вполне объективны. Они зависят и от чувственного восприятия, и от эмоций, и от интеллекта наблюдателя – и что немаловажно, могут меняться в зависимости от его настроения.

Эта гипотеза подтверждается фактами. Поклонники Бэнкси, возможно, вспомнят, как в 2013 году он анонимно продавал “с лотка” в нью-йоркском Центральном парке свои черно-белые работы, выполненные аэрозольными красками, по 60 долларов за штуку. В ряду других киосков и прилавков с типовыми сувенирами его прилавок, с точки зрения прохожих, наверное, отличался довольно высокими ценниками. Первый покупатель нашелся лишь через несколько часов. Дневная выручка Бэнкси составила 420 долларов[387]. Однако год спустя, на аукционе в Лондоне, другому покупателю то же самое произведение показалось настолько прекрасным в эстетическом плане, что он с готовностью отдал за одну-единственную картину 68 000 фунтов (около 115 000 долларов по тогдашнему курсу)[388].

Надо признать, не у всех Бэнкси пользуется успехом. Чарли Брукер, автор идеи и сценарист сериала “Черное зеркало”, однажды обозвал его “пустозвоном, творчество [которого] идиотам кажется жутко интеллектуальным”[389]. Так что, по-видимому, эта история говорит только о том, что качество как таковое не является неотъемлемым свойством произведений Бэнкси. Баснословные цены – результат медийного хайпа, а также информационного социального влияния. Но и в оценках бесспорных шедевров мы тоже нередко проявляем беспричинное своенравие.

Я часто вспоминаю один эксперимент, который провела в 2007 году газета Washington Post[390]. Всемирно известного скрипача Джошуа Белла, на чьи концерты билеты всегда распроданы, попросили выступить лишний раз. Взяв свою скрипку Страдивари стоимостью 3,5 миллиона долларов, утром, в час пик, Белл встал наверху у эскалатора одной из станций вашингтонского метро, положил на пол шляпу для монет и купюр и сорок три минуты развлекал публику. Как писала Washington Post, “один из самых прославленных виртуозов с мировым именем исполнил самые красивые музыкальные произведения на одном из самых дорогих инструментов, какие только существуют в мире”. И что бы вы думали? Семь человек немного постояли, послушали. Более тысячи пробежали мимо. Когда Белл отыграл всю программу, в его шляпе лежал небогатый улов – 32 доллара и 17 центов.

Меняется и наше представление о том, что такое “хорошо”. Наша потребность в некоторых жанрах классической музыки явно выдержала испытание временем, чего не скажешь о других видах искусства. Арман Леруа, профессор эволюционной биологии Имперского колледжа Лондона, изучал развитие и трансформацию поп-музыки и нашел убедительное доказательство переменчивости наших вкусов: “Всегда есть некий порог скуки. Когда людям хочется чего-то новенького, нарастает напряженность”[391].

В качестве примера рассмотрим ритм-машины и синтезаторы – в конце 1980-х годов они так всем полюбились, что все хит-парады стали на одно лицо. “Что ни возьми, все звучит как ранняя Мадонна и «Дюран Дюран», – объясняет Леруа. – Можно было подумать, что это уже вершина поп-музыки. Вот и все тут. Дальше развиваться вроде некуда”. Как бы не так. Очень скоро появился хип-хоп, и чарты вновь заискрились разнообразными хитами. Я спросила Леруа: было ли что-то такое в хип-хопе, что вызвало перемены? “Вряд ли. Могло появиться что угодно, но появился хип-хоп. Он вызывал отклик у американской аудитории, и люди сказали: это что-то новенькое, давайте еще”.

Дело вот в чем. Даже если произведения искусства можно сравнивать по каким-то объективным критериям, мы не можем придумать физический метод измерения их эстетических достоинств, который работал бы всегда и везде, поскольку мы воспринимаем искусство в зависимости от контекста. Какие средства вы ни используете – статистические методики, хитроумный искусственный интеллект или алгоритмы машинного обучения, – попытки облечь в цифры саму суть артистического гения равнозначны попыткам схватить дым руками.

Но алгоритму нужны хоть какие-то исходные данные. Раз популярность и изначально присущее качество не годятся, единственное, что можно оценить количественно, – это степень сходства с любым предыдущим продуктом.

Измерение сходства позволяет сделать массу всего. Это, бесспорно, самый подходящий метод для рекомендательных сервисов, таких как Netflix и Spotify. Обе компании предлагают пользователям удобный поиск новых фильмов и песен, к тому же, работая по схеме абонентского обслуживания, они заинтересованы в более точном прогнозировании предпочтений клиентов. Строить свои алгоритмы на базе популярности им нельзя, иначе пользователей завалят предложениями послушать Джастина Бибера и посмотреть “Свинку Пеппу”. Нельзя основываться и на косвенных показателях качества, например, на критических обзорах, потому что на домашней странице останется сплошное артхаусное кино не для всех, тогда как все вообще-то хотят скинуть туфли после длинного рабочего дня и часа на два бездумно погрузиться в какой-нибудь тупой триллер или посмотреть кино с Райаном Гослингом.

Зато с оценкой сходства алгоритм может сфокусироваться непосредственно на предпочтениях того или иного пользователя. Что он слушает, что смотрит, что пересматривает снова и снова? В таком случае можно составить набор ключевых слов для каждой песни и каждого фильма, надергав их на сайте IMDb, в “Википедии”, блогах о музыке и журнальных статьях. Проделать это для всего каталога, после чего останется только найти другие песни и фильмы с теми же тегами и предложить их пользователям. Далее можно будет еще и найти других пользователей, которым нравятся те же песни и фильмы, посмотреть, что еще они выбирают, и показать своему клиенту то же самое.

Ни Spotify, ни Netflix даже не пытаются отбирать лучшие песни и фильмы. Совершенство их вообще не интересует. Spotify не обещает вам найти ту единственную группу на земле, которая целиком и полностью отвечает вашим вкусам и настроению. Алгоритмы выдачи рекомендаций всего лишь находят достаточно хорошие для вас фильмы и музыку, так чтобы вы не разочаровались. Вам предлагают абсолютно безвредный способ скоротать время. Периодически алгоритмы будут попадать в десятку с выбором, но в каком-то смысле это немного смахивает на “холодное чтение”. Чтобы радоваться новым открытиям в музыке, вам достаточно периодически находить то, что вас порадует. Механизм поиска вовсе не обязан всегда работать безошибочно.

Для алгоритмов выдачи рекомендаций критерий сходства – идеальный инструмент. Но самое интересное начинается тогда, когда вы просите алгоритм создать произведение искусства, не имея однозначных критериев оценки его качества. Способен ли алгоритм сотворить шедевр, если его восприятие искусства целиком и полностью ограничивается прошлым опытом?

Хорошие художники копируют, великие художники воруют. Пабло Пикассо[392]

В октябре 1997 года в Орегонском университете давали весьма любопытный концерт. На авансцене одиноко стоял рояль. Вышла пианистка Уинифред Кернер и приготовилась исполнить три короткие пьесы.

Первая пьеса – малоизвестное сочинение для фортепиано великого мастера барокко Иоганна Себастьяна Баха. Вторую, в стиле Баха, сочинил профессор музыки того же университета Стив Ларсон. Третью написал алгоритм, который разработали специально для имитации музыкальной манеры Баха.

По окончании концерта публику попросили выбрать одного из этих троих авторов для каждой пьесы. К великому огорчению Стива Ларсона, его опус большинством голосов приписали компьютеру. Когда же было объявлено, что за творение гениального композитора слушатели приняли не что иное, как машинную продукцию, зал дружно ахнул от ужаса, смешанного с восторгом.

Ларсон расстроился. Вскоре после этого эксперимента он сказал в интервью New York Times: “Я глубоко и бесконечно восхищаюсь музыкой [Баха]. Компьютер сумел обмануть публику – не знаю, что и подумать”.

Не только ему стало не по себе. Создателю прославившегося алгоритма, электронного композитора, Дэвиду Коупу уже приходилось наблюдать такую же реакцию. “[Сначала] мы играли в эту, я бы сказал, «игру» с отдельными людьми, – рассказывал он мне. – И когда они проигрывали, им это не нравилось. Они сердились на меня уже за саму идею. Потому что творчество считается прерогативой человека”[393].

Очевидно, такого же мнения придерживался и Дуглас Хофштадтер, ученый-когнитивист, писатель и главный организатор памятного концерта. Несколькими годами ранее в своей книге “Гёдель, Эшер, Бах: эта бесконечная гирлянда”, за которую в 1979 году получил Пулитцеровскую премию, он довольно категорично выразился по этому поводу:

Музыка – это язык эмоций, и никакая программа не напишет ничего сколько-нибудь прекрасного, пока не разовьет у себя столь же богатый духовный мир, каким обладаем мы… Полагать, что запрограммированная “музыкальная шкатулка” может по нашей команде выдавать опусы, достойные Баха, – значит самым бессовестным, чудовищным образом недооценивать глубину человеческой души[394].

Однако, прослушав сочинения алгоритма Коупа – программы по имени ЭМИ[395] – Хофштадтер признал, что, пожалуй, не все так однозначно: “ЭМИ озадачила меня и повергла в сомнения, – сказал он через несколько дней после эксперимента в Орегонском университете. – Ясно, что ЭМИ не генерирует стиль сама, и это единственное, что меня здесь успокаивает. Манера алгоритма определяется подражанием другим композиторам. Впрочем, это слабое утешение. Я совершенно выбит из колеи, [возможно] музыка – это нечто не такое великое, как я всегда думал”.

Так что же это? Только ли человеку по плечу добиться эстетического совершенства? Или автором произведения искусства может стать алгоритм? И если зрители не смогли отличить музыку компьютера от музыки великого композитора, не значит ли это, что компьютер доказал свою способность к настоящему творчеству?

Попробуем разобраться с каждым из этих вопросов начиная с последнего. Для того чтобы составить обоснованное мнение, давайте сделаем паузу и попробуем разобраться в том, как работает этот алгоритм[396]. Дэвид Коуп любезно согласился немного просветить меня.

Чтобы написать программу, первым делом надо было перевести музыку Баха на понятный компьютеру язык: “Для каждой ноты надо ввести в базу данных по пять характеристик: момент начала звучания, длительность, высоту тона, громкость и музыкальный инструмент”. Коуп методично, вручную ввел все пять характеристик для каждой ноты из записей Баха. Одних только хоралов Баха насчитывалось 371 – множество созвучий, десятки тысяч нот, по пять цифровых значений для каждой. Коуп проделал фантастическую работу: “Я месяцами ничего делал, кроме как вбивал эти цифры. Но я самый настоящий маньяк”.

Затем, по системе Коупа, надо было посмотреть, что в произведениях Баха следует за каждым отдельно взятым звуком. Коуп записал последующие ноты для каждой из нот в хоралах Баха. Все это он собрал в некое подобие словаря – банк данных, в котором алгоритм мог выбрать любой аккорд и составить исчерпывающий список всех возможных последующих вариантов, выписанных вдохновенным пером Баха.

Можно сказать, ЭМИ действует примерно так же, как алгоритмы предиктивного ввода текста на смартфонах. Телефон составил себе словарик по когда-то введенным вами фразам и теперь подбирает для ваших новых сообщений те слова, которые вы с большой вероятностью написали бы сами вслед за текущим словом[397].

И наконец, надо было запустить машину. Коуп загружал в систему первый аккорд и просил алгоритм просмотреть словарь и найти в неупорядоченной подборке следующие ноты. Далее алгоритм повторял ту же процедуру – штудировал словарь и выбирал нужные ноты и созвучия. На выходе получалось абсолютно новое музыкальное произведение, которое звучало так, словно его написал сам Бах[398].

А может, это и есть сам Бах. По крайней мере, Коуп так считает. “Все аккорды придуманы Бахом. Представьте себе, что вы натерли на терке кусок пармезана, а потом снова слепили из стружки кусок. Получится все тот же пармезан”.

Вне зависимости от того, чья это величайшая заслуга, одно не вызывает сомнений. Музыка ЭМИ, как бы она ни была красива и мелодична, родилась в результате перетасовок ранее созданных произведений. Это не впервые созданное оригинальное произведение, а лишь подражание мотивам из произведений Баха.

Совсем недавно появились и другие алгоритмы, которые продвинулись чуть дальше простой рекомбинации и “написали” приятную для слуха музыку. Больше других преуспели на этом поприще генетические алгоритмы – разновидность алгоритмов машинного обучения, использующие принцип естественного отбора. Что ж, судя по павлинам, у эволюции есть свои творческие секреты.

Идея проста. Такие программы оперируют с нотами, как с музыкальной ДНК. За исходную берется первая цепочка со случайной последовательностью нот – первая популяция “песен”. Из поколения в поколение алгоритм отбирает и культивирует самые “красивые” музыкальные фрагменты, чтобы со временем композиции становились все лучше и лучше. Это так говорится “красивые” и “лучше”, но, конечно же, как мы уже поняли, никто не знает точного значения этих слов. С тем же успехом алгоритм может написать поэму и картину – но все равно он будет ориентироваться только на степень сходства с ранее созданными произведениями искусства.

Впрочем, в некоторых случаях большего и не требуется. Если вы ищете фоновый мотивчик в стиле фолк для своего сайта или видео в YouTube, вам нет дела до того, что он перекликается со всеми сразу известными хитами в этом жанре. У вас очень простые условия – не нарушить ничьи авторские права и не тратить время и нервы на сочинительство. Если это все, что вам нужно, вам на помощь придут несколько компаний. Услуги такого рода предлагают британские стартапы Jukebox и AI Music, использующие программы для написания мелодий. Какие-то мелодии сгодятся для ваших целей. Какие-то будут, можно сказать, оригинальны. Будут даже красивые. Безусловно, алгоритмы мастерски подражают старому – просто они не очень хорошо создают новое.

Это не значит, что они оказывают нам плохую услугу. Многие мелодии, сочиненные людьми, тоже не отличаются новизной. Спросите Армана Леруа, биолога-эволюциониста, изучавшего культурную эволюцию поп-музыки, – он считает, что творческий потенциал человека вызывает у нас излишнее умиление. Как он говорит, компьютер ни в чем не уступил бы даже самым выдающимся победителям хит-парадов. Вот, к примеру, что он думает о песенке Happy Фаррелла Уильямса (сдается мне, что Леруа – не фанат Уильямса):

“Счастлив, счастлив, счастлив, я так счастлив!” Ну что это, в самом деле! На всю песню, кажется, пяток слов. Звучит в точности так, будто ее робот для вас сочинил, в угоду простой житейской потребности людей в хорошем настроении и легкомысленной пляжной музыке. Абсолютно идиотская песня, примитивная до предела. Если мы к этому стремимся – что ж, это легко устроить.

Не слишком высокого мнения Леруа и об Адель: “Вслушайтесь в то, что она поет, и вы поймете, что там нет никаких проявлений чувств, которые не могла бы воспроизвести программа генерирования лирических песен”.

Существует мнение (вам оно может показаться спорным, я и сама не готова согласиться), что изобретательность людей сводится к очередной рекомбинации прежних изобретений – и алгоритмы “сочиняют” музыку примерно так же. Как сказал Марк Твен:

Свежая мысль – это нечто, чего не бывает. Просто не может быть. Мы лишь собираем все старые мысли и засыпаем их, так сказать, в умственный калейдоскоп. Поворачиваем его, и мысли складываются в новые, причудливые картины. Снова поворачиваем, получаем другие сочетания, и так до бесконечности; но те же самые разноцветные стекляшки перемешивались во все века.

Между тем Коуп дает очень простое определение творческой деятельности, охватывающее и деятельность алгоритмов: “Творчество – это поиск ассоциативных связей там, где, казалось бы, их нет”.

Возможно. Но, по-моему, все-таки если ЭМИ и ей подобные программы и проявляют способность к творчеству, то в какой-то ущербной форме. Их музыка бессодержательная, даже если она мелодична. И я никак не могу отделаться от мысли, что если мы будем относиться к машинной продукции как к искусству, то в плане культуры наша картина мира станет намного беднее. Может, такая культурная пища легко усваивается и поднимает настроение. Но это не Искусство с большой буквы.

Изучая материалы для этой главы, я поняла, что совсем по другой причине я отношусь к творчеству алгоритмов с сомнением. Дело не в том, способны ли компьютеры к творческой деятельности. Способны. Главный вопрос – что считать искусством.

Я математик. Я со знанием дела оперирую фактами о ложной позитивности и рассуждаю об абсолютной истине, о точности и статистике. Но что касается искусства, я лучше сошлюсь на Льва Толстого. Я, как и он, полагаю, что подлинное искусство имеет дело с человеческими отношениями, с взаимодействиями на эмоциональном уровне. Лев Толстой писал: “…Искусство есть передача другим людям особенного, испытанного художником чувства”[399][400]. Если вы согласны с Толстым, вам должно быть понятно, почему компьютер не может творить подлинное искусство. Это замечательно объяснил Дуглас Хофштадтер, задолго до его знакомства с ЭМИ:

“Программа”, которая могла бы сочинять музыку… должна была бы сама побродить по свету, ища выходы из разных передряг и переживая каждое событие. Она должна понять, что такое радость и одиночество в ночи, когда стоишь на холодном ветру, страстное и неутолимое желание коснуться дорогой сердцу руки, городские огни в недосягаемой дали, что такое горе и восстановление после смерти близких. Она должна испытать мировую скорбь и смирение, тоску и отчаяние, чувство целеустремленности и победы, благоговения и священного трепета. Должна объединить противоположности – надежду и страх, душевную муку и ликование, безмятежность и тревогу. Ей обязательно должны быть присущи изящество, чувство юмора и ритма, оригинальность – и, безусловно, способность остро воспринимать магию нарождающегося нового творения. В этом и только в этом кроется источник смысловой наполненности музыки[401].

Тут я могу и ошибаться. Возможно, если творения алгоритмов примут облик созданных человеком шедевров – как это произошло с музыкой ЭМИ, – мы оценим их и вложим в них свой смысл. Судя по многолетней истории фонограммы в поп-музыке, люди способны эмоционально реагировать даже на суррогат живого контакта. И возможно, когда компьютерное творчество распространится повсеместно и мы будем отдавать себе отчет в том, что автор – не человек, односторонняя связь перестанет нас отпугивать. Можно ведь установить эмоциональный контакт, скажем, с любимым плюшевым мишкой или домашним паучком без всякой надежды на взаимность.

Однако, на мой взгляд, подлинные шедевры не рождаются по случайному стечению обстоятельств. Есть границы применения алгоритмов. Предел допустимых расчетов. Я могу выудить из массивов данных и статистической информации самые невероятные, ошеломительные сведения, но ничего не найду о том, каково это – быть человеком.

Заключение

Архитектор Рахина Ибрагим, замужняя женщина (супруг ее остался по другую сторону океана), мать четверых детей, работала волонтером в больнице и, ко всему прочему, готовилась к защите диссертации в Стэнфордском университете. Мало ей было забот – она перенесла еще и экстренную гистерэктомию и, хотя уже почти поправилась после операции, пока еще не могла долго обходиться без медицинской помощи и лекарств. Тем не менее она забронировала билет на Гавайи, чтобы в январе 2005 года принять участие в 38-й Международной конференции по системным наукам и выступить с докладом перед коллегами[402].

Утром 2 января 2005 года она вместе с дочкой приехала в аэропорт Сан-Франциско, сразу же подошла к стойке регистрации, предъявила документы и попросила предоставить ей инвалидное кресло. Ей отказали. На экране компьютера высветилось предупреждение, что ее имя включено в федеральный черный список – базу данных, составленную после 11 сентября 2001 года с целью не допустить к полетам людей, подозреваемых в терроризме.

Перепуганная дочка Рахины Ибрагим, еще подросток, оставшись одна, позвонила другу семьи и сказала, что ее маму куда-то увели в наручниках. Саму Ибрагим затолкали на заднее сиденье полицейской машины и повезли в отделение. Ее обыскали, проверив, что у нее под хиджабом, и заперли в камере без необходимых лекарств и медицинской помощи. Через два часа явился агент органов национальной безопасности с бумагами на освобождение и объявил ей, что из черного списка ее фамилию вычеркнули. Ибрагим добралась до места проведения конференции, а оттуда отправилась на родину, в Малайзию, проведать родных.

Ибрагим попала в черный список, когда агент ФБР, заполняя форму, поставил галочку не в том квадратике. Возможно, ошибка произошла из-за того, что террористическую организацию “Джемаа Исламия”, ответственную за взрывы на Бали в 2002 году, спутали с малайской организацией “Джемаа Ислам”, профессиональным объединением людей, обучающихся за границей. Ибрагим состояла во второй и никогда не имела ничего общего с первой. Как только эта ошибка закралась в автоматизированную систему, дело приобрело оттенок государственной важности, что едва ли не вешало на него гриф “без права на обжалование”. Инцидентом в аэропорту Сан-Франциско эта история не закончилась.

Спустя два месяца, на обратном пути из Малайзии в США, Ибрагим вновь задержали в аэропорту. На этот раз конфликт разрешился не так быстро. Ее визу аннулировали на основании подозрений в связях с террористами. Несмотря на то, что Ибрагим была матерью американских граждан, постоянно проживала в Сан-Франциско и занимала должность в одном из самых уважаемых университетов Америки, в Штаты ее не пустили. В конечном итоге, прежде чем ей удалось выиграть битву за свое честное имя, прошло почти десять лет. Почти десять лет Америка оставалась для нее запретной страной. И все из-за того, что человек один раз ошибся, а компьютер наделили слишком большим авторитетом.

Человек плюс машина

Никто не сомневается в том, что автоматика оказала огромное и полезное влияние на жизнь каждого из нас. Перечень успехов уже созданных на сегодняшний день алгоритмов поражает воображение. Алгоритмы помогают нам диагностировать рак груди, ловить серийных убийц и предотвращать авиакатастрофы; открывают нам свободный доступ ко всем накопленным человечеством знаниям – надо лишь пошевелить пальцами; они в одно мгновение соединяют людей по всему миру, что нашим предкам и не снилось. Но, кажется, стремясь ко всеобщей автоматизации и торопясь решить множество мировых проблем, мы вместо одной сложности создали себе другую. Эти полезные, заслуживающие всяческих похвал алгоритмы вынуждают нас распутывать плотный клубок мудреных загадок.

В любой области, какую ни возьми – в судебной системе, здравоохранении, охране порядка и даже в интернет-торговле, – возникают осложнения, связанные с вторжением в личную жизнь, предвзятостью, ошибками, безответственностью и непрозрачностью, которые так просто не обойти. Иногда алгоритмы уже одним фактом своего существования ставят перед нами острые вопросы, требующие честного и объективного анализа: какие мы, люди, каким мы хотим видеть наше общество и насколько мы способны совладать с крепнущей властью бесстрастных информационных технологий?

Но, возможно, в этом-то и загвоздка. Может быть, наша ошибка как раз в том, что мы рассматриваем алгоритмы как некую властную структуру.

Начать с того, что наше нежелание оспорить власть алгоритмов облегчило задачу тем, кто хочет на нас нажиться. Пока я искала материалы для своей книги, мне попадались мошенники всех мастей, и все они были не прочь воспользоваться каким-нибудь мифом и подзаработать на нашем простодушии. Несмотря ни на какие научно обоснованные аргументы, кто-то продает правоохранительным органам и правительству алгоритмы, якобы способные по одному только лицу распознать в человеке потенциального террориста или педофила. Есть и такие, кто утверждает, будто достаточно подредактировать с помощью их программы одну строку в сценарии, и ваш фильм станет блокбастером[403]. Другие с полной уверенностью и без тени иронии заявляли, что их алгоритм найдет для вас настоящую любовь[404].

Но даже добросовестные алгоритмы нередко наносят людям вред своим авторитетом. Эта книга изобилует историями о губительной деятельности алгоритмов. В Айдахо “инструмент бюджетного регулирования” оставил инвалидов без финансовой поддержки. Алгоритмы прогнозирования рецидивов преступлений присваивают темнокожим подсудимым более высокие рейтинги по шкале риска просто в силу исторических причин. Система диагностики заболеваний почек была устроена так, что миллионы людей, сами того не ведая и не давая на то своего согласия, обнародовали свои глубоко личные данные. Алгоритм, предназначенный для торговли в интернете, лишил юную девушку возможности самой сказать папе о том, что она беременна. Получив в свое распоряжение программу для отслеживания объектов наблюдения, полиция составляет “черные списки”, хотя задача алгоритма – предотвращать стрельбу. Ошибки и перекосы на каждом шагу.

Вместе с тем, когда мы говорим о слабых местах алгоритмов, может сложиться впечатление, будто существует некий идеал и надо к нему стремиться. Я долго и упорно думала и не смогла вспомнить ни одного бесспорно справедливого алгоритма. Скрытые угрозы таят в себе даже самые, казалось бы, прекрасные алгоритмы, такие как авиационные автопилоты и диагностирующие рак нейросети. Как вы уже знаете из главы “Автомобили”, человек, которого научили управлять машиной с автопилотом, рискует, оказавшись за рулем или джойстиком, попасть в крайне затруднительное положение. Высказываются даже опасения, что с виду чудесные алгоритмы для выявления опухолей, с которыми мы познакомились в главе “Медицина”, не для всех этнических групп одинаково эффективны. Но и без алгоритмов в мире не так уж много по-настоящему объективных и справедливых систем. Стоит только копнуть поглубже в любой области, и обнаружатся какие-нибудь нехорошие тенденции.

Давайте подумаем: допустим, мы смирились с тем, что идеала не существует, – что тогда? Алгоритмы будут ошибаться. Алгоритмы будут несправедливыми. Это вовсе не означает, что мы не постараемся сделать их как можно более точными и менее тенденциозными, но, возможно, признав, что алгоритмы – как и люди – несовершенны, мы несколько ослабим их власть, которой мы же их и наделили.

Представим себе, что мы не стали бросать все силы на создание алгоритмов, отвечающих самым высоким стандартам объективности, а сделали так, чтобы в случае неизбежной ошибки их работу было легко скорректировать; что те же усилия и время мы потратили на разработку таких автоматических систем, отключить которые не сложнее, чем внедрить. Наверное, логичнее было бы с самого начала разработать алгоритм, решения которого можно оспорить. Представим себе, что, по замыслу инженеров, алгоритмы не инструктируют людей, а помогают им принимать решения. Что они не просто выдают нам результат, а показывают, как и почему они пришли к тому или иному выводу.

На мой взгляд, лучшие алгоритмы – те, что на каждом этапе своей работы принимают в расчет человека. Те, что знают о нашей склонности излишне доверять решению компьютера, но в то же время учитывают собственные недостатки и не скрывают своей неуверенности.

Это одно из самых полезных свойств компьютера IBM Watson, победителя телевикторины Jeopardy. По условиям игры ответ должен быть дан однозначный, но алгоритм предлагал и несколько вариантов, которые он рассматривал по ходу дела, а также количественно оценивал свою уверенность в правильности каждого варианта. Наверное, если бы нечто в этом роде происходило при оценке вероятности рецидивизма преступности, судьям было бы проще критически отнестись к тому, что сказал компьютер. И если бы алгоритм распознавания лиц показывал не одно лицо, а несколько возможных совпадений, не возникло бы столько проблем из-за ошибок в опознании.

Этим же свойством обусловлена высокая эффективность нейросетей, сканирующих снимки опухолей молочной железы. Алгоритм не приговаривает пациенток к раку. Он выделяет в огромном множестве клеток несколько подозрительных зон, чтобы доктор их проверил. Алгоритму неведома усталость, а врач редко ошибается в диагнозе. Алгоритм и человек работают в дружном тандеме, причем каждый из них пользуется сильными сторонами партнера и принимает во внимание его слабости.

Можно привести и другие примеры – в тех же шахматах, с которых мы начали. Проиграв машине, Гарри Каспаров не рассорился с компьютерами навек. Совсем наоборот. Он стал ярым апологетом “продвинутых шахмат” (Centaur Chess) – игры двух гибридных команд, дуэтов человека и компьютера, так называемых “кентавров”. Алгоритм оценивает возможные последствия каждого хода, тем самым уменьшая вероятность серьезного просчета, но в целом за игру отвечает человек.

Вот как об этом говорит сам Каспаров: “Если пользоваться во время игры помощью компьютера, можно не тратить столько времени на расчеты, а сосредоточиться на стратегии. В таких условиях творческая энергия человека приобретает еще более важное значение”. В итоге шахматы вышли на такой высокий уровень, какого еще никогда не достигали. Безупречная тактика игры и изящная, продуманная стратегия – все лучшее от обоих миров!

Это будущее, которого я жду. Будущее, куда не попадут самонадеянные алгоритмы-диктаторы, заполонившие мою книгу. Будущее, когда искусственный интеллект станет для нас не деспотичным командиром, а таким же полезным ресурсом, как и другие технологии. Мы начнем критически осмысливать решения машин и анализировать их мотивы, станем уважать свои чувства, требовать ответа на вопрос, кто бенефициар, возлагать на алгоритмы ответственность за их ошибки и прекратим сами себя успокаивать. Думаю, это ключ к тому миру, где алгоритмы служат прогрессу общества. И очень хорошо, что эта работа целиком и полностью ляжет на наши плечи. Ибо одно можно сказать с уверенностью: никогда еще человек не был так важен, как в эпоху алгоритмов.

Благодарности

Наверное, есть на свете люди, кому написать книгу проще пареной репы. Вы понимаете, о ком я – они вскакивают ни свет ни заря, к обеду у них готова целая глава, и они забывают про ужин, потому что их подхватил поток вдохновения и они не смотрели на часы.

Я точно не из их числа.

В процессе работы я вела ежедневные битвы с той частью себя, которая предпочла бы включить сериал, усевшись на диван с чипсами, и полномасштабную войну с сокрушительными приступами беспокойства и паники, от которых, как мне казалось, я избавилась, защитив диссертацию. Я не столько писала свою книгу, сколько вытягивала ее из себя с воплями и скандалами. Бывало, что в буквальном смысле слова.

Поэтому я тем более благодарна всем, кто великодушно помогал мне от начала и до конца. Это моя потрясающая издательская команда, весь прошлый год не жалевшая для меня времени и идей: Сюзанна Уэйдсон, Куин До, Клэр Конрад, Эмма Пэрри, Джиллиан Сомерскейлс, Эмма Бёртон, Софи Кристофер, Ханна Брайт, Кэролайн Сейн, – а также сотрудники агентства Janklow & Nesbit и издательств Transworld и Norton, помогавшие мне за сценой. И еще Сью Райдер, Кэт Би и Том Копсон. Без вас я пропала бы.

Я безмерно благодарна моим собеседникам, согласившимся ответить на мои вопросы; некоторых из них я цитирую в книге, но все они помогли мне сформулировать идеи. Это Джонатан Роусон, Найджел Харви, Адам Бенфорадо, Джайлс Ньюэлл, Ричард Берк, Шина Эруин, Стив Колган, Мандип Дхами, Эдриан Уэллер, Тоби Дейвис, Роб Дженкинс, Джон Каневски, Тимандра Харкнесс, Дэн Поппл и сотрудники полиции Уэст-Мидлендса, Энди Бек, Джек Стилгоу, Кэролайн Рэнс, Пол Ньюмен, Филлис Илларми, Арман Леони, Дэвид Коуп, Эд Финн, Кейт Девлин, Шелия Хейман, Том Чатуин, Карл Гомбрих, Джонни Райан, Джон Кроукрофт и Фрэнк Келли.

Сью Уэбб и Дэбби Энрайт из Network Typing, а также Шэрон Ричардсон, Шрути Рао и Уилл Сторр оказали мне неоценимую помощь в борьбе за то, чтобы эта книга обрела нужный вид. Кроме того, когда я наконец дописала ее в первом приближении, Джеймс Фулкер, Элизабет Адлингтон, Брендан Магиннис, Иэн Хантер, Омар Миранда, Адам Деннетт, Майкл Вил, Джослин Бейли, Кэт Блэк, Трейси Фрай, Адам Резерфорд и Томас Олерон Эванс помогли мне увидеть и привести в порядок самые корявые фразы. А Джеф Даль, помимо того что оказывал мне моральную поддержку на протяжении всего рабочего процесса, еще и подал прекрасную, оригинальную идею для обложки.

Мне очень помогли мои рецензенты: Элизабет Клевердон, Бетани Дейвис, Бен Диксон, Майк Даунз, Чарли и Лора Гейлан, Кэти Хит, Миа Кази-Форнари, Фатах Иуалитен, Шивон Мейдерс, Мейбл Смоллер, Али Сейхун Сараль, Дженнифер Шелли, Эдвард Стил, Дэниел Весма и Джасс Уби – за что им огромное спасибо!

Не знаю, как выразить свою признательность моим родным за круглосуточную поддержку и неизменную доброжелательность. Фил, Трейси, Натали, Мардж и Пардж, Омар, Майк и Таня – вы были терпеливы со мной больше, чем я того порой заслуживала. (Но не поймите меня буквально – возможно, я соберусь написать еще одну книгу, и тогда мне снова понадобится ваша помощь, вы не против?)

И напоследок, но никак не в последнюю очередь, Эдит. Честно говоря, ты мне совсем не помогала, но на тебя я и не рассчитывала.

Источники иллюстраций

“Автомобиль-собака”, с разрешения Данило Васконселлоса Варгаса, Университет Кюсю, Фукуока, Япония.

“Горилла на рентгеновском снимке грудной клетки”, с разрешения Трафтона Дрю, Университет штата Юта, Солт-Лейк-Сити, США.

“Изображения Стива Талли” © Steve Talley (слева) и ФБР.

“Нил Дуглас и его двойник”, с разрешения Нила Дугласа.

“Черепаховые очки”, с разрешения Махмуда Шарифа, Университет Карнеги-Меллона, Питтсбург, США; “Мила Йовович на Каннском кинофестивале”, фото Жоржа Байя.

Примечания

1

Brian W. Kernighan and Dennis M. Ritchie. The C Programming Language (Upper Saddle River, NJ: Prentice-Hall, 1978). (Керниган Б., Ритчи Д. Язык программирования С. М.: “Вильямс”, 2017).

Вернуться

2

Robert A. Caro, The Power Broker: Robert Moses and the Fall of New York (London: Bodley Head, 2015), p. 318.

Вернуться

3

На эту тему написаны изумительные эссе, советую почитать. Например: Langdon Winner, Do artifacts have politics? Daedalus, vol. 109, no. 1, 1980, pp. 121–136, https://jstor.org/stable/20024652, где описаны мосты Мозеса. И ближе к современности: Kate Crawford, Can an algorithm be agonistic? Ten scenes from life in calculated publics, Science, Technology and Human Values, vol. 41, no. 1, 2016, pp. 77–92.

Вернуться

4

Scunthorpe Evening Telegraph, 9 April 1996.

Вернуться

5

В английском названии города Scunthorpe выделяется нецензурное слово cunt. (Прим. перев.)

Вернуться

6

Чуквуэмека Афигбо (@nke_ise) опубликовал в Twitter короткое видео с этим эффектом. Если вы еще не видели его, стоит посмотреть. Можно и в YouTube: https://youtube.com/watch?v=87QwWpzVy7I.

Вернуться

7

Из интервью Марка Цукерберга CNN: I’m really sorry that this happened, YouTube, 21 марта 2018, https://youtube.com/watch?v=G6DOhioBfyY.

Вернуться

8

Из личной беседы с гроссмейстером Джонатаном Роусоном.

Вернуться

9

Feng-Hsiung Hsu, IBM’s Deep Blue Chess grandmaster chips, IEEE Micro, vol. 19, no. 2, 1999, pp. 70–81, http://ieeexplore.ieee.org/document/755469/.

Вернуться

10

Garry Kasparov, Deep Thinking: Where Machine Intelligence Ends and Human Creativity Begins (London: Hodder & Stoughton, 2017). Русское издание: Каспаров Г. К. Человек и компьютер: Взгляд в будущее / Пер. с англ. И. Евстигнеевой. – М.: Альпина Паблишер, 2017.

Вернуться

11

TheGoodKnight, Deep Blue vs Garry Kasparov Game 2 (1997 Match), YouTube, 18 Oct. 2012, https://youtube.com/watch?v=3Bd1Q2rOmok&t=2290s.

Вернуться

12

Ibid.

Вернуться

13

Steven Levy, Big Blue’s Hand of God, Newsweek, 18 May 1997, http://newsweek.com/big-blues-hand-god-173076.

Вернуться

14

Каспаров. Человек и компьютер, С. 271.

Вернуться

15

Там же, С. 277.

Вернуться

16

Согласно словарю Merriam-Webster. В “Оксфордском словаре английского языка” дается определение, в котором подчеркивается математическая природа алгоритма: “последовательность действий или набор команд, которые необходимо выполнить при расчетах или поиске решения задачи, особенно с помощью компьютера”.

Вернуться

17

Классифицировать алгоритмы можно по-разному, и я не сомневаюсь, что специалисты по компьютерным наукам будут недовольны столь упрощенным подходом. Более подробный перечень действительно включил бы в себя еще несколько категорий: например, алгоритмы картирования, сведения одних задач к другим, регрессивного анализа и кластеризации. Но я все-таки остановилась на этой классификации, потому что она покрывает все основные случаи и, что немаловажно, помогает дать представление об этой огромной и сложной области науки. См. Nicholas Diakopoulos, Algorithmic Accountability Reporting: On the Investigation of Black Boxes (New York: Tow Center for Digital Journalism, Columbia University, 2014)

Вернуться

18

Kerbobotat: “Зашел на Amazon купить бейсбольную биту и получил интересные предложения аксессуаров”, Reddit, 28 Sept. 2013, https://reddit.com/r/funny/comments/1nb16l/went_to_buy_a_baseball_bat_on_amazon_they_have/.

Вернуться

19

Sarah Perez, Uber debuts a “smarter” UberPool in Manhattan, TechCrunch, 22 May 2017, https://techcrunch.com/2017/05/22/uber-debuts-a-smarter-uberpool-in-manhattan/.

Вернуться

20

Слово “теоретически” я употребила неслучайно. Так бывает не всегда. Над некоторыми алгоритмами не один год трудились сотни, а то и тысячи разработчиков, и каждый из них на том или ином этапе добавлял свои операции. С каждой новой строкой кода система становится все более сложной, до тех пор пока логические нити не переплетутся на манер порции спагетти. В конце концов алгоритм приобретает настолько разветвленную структуру, что человеческий разум уже не в силах разобраться в ней и уследить за всеми переходами.

В 2013 году компания Toyota должна была выплатить три миллиона долларов компенсации после автокатастрофы с участием одного из ее автомобилей. Машина неконтролируемо разогналась, хотя сидевшая за рулем женщина жала на педаль тормоза, а вовсе не газа. На суде выступавший свидетелем специалист сказал, что виновата случайная команда, скрытая где-то в путаной схеме программного обеспечения. См. Phil Koopman, A case study of Toyota unintended acceleration and software safety (Pittsburgh: Carnegie Mellon University, 18 Sept. 2014), https://users.ece.cmu.edu/~koopman/pubs/koopman14_toyota_ua_slides.pdf.

Вернуться

21

Эта иллюзия называется “ваза Рубина”, по имени придумавшего ее Эдгара Рубина. (Здесь приведен пример со страницы https://commons.wikimedia.org/wiki/File:Vase_of_rubin.png). Это пример двойственного изображения, или обратимых фигур – вы видите два темных профиля и белую вазу. На этом рисунке очень легко переключиться с одной формы на другую, но, чтобы сместить равновесие в ту или иную сторону, достаточно добавить пару штрихов. Скажем, подрисовать тонкие контуры глаз или оттенить ножку вазы.

Из той же серии пример с распознаванием изображения собаки и машины. Программисты подобрали картинку на стыке двух категорий, внесли одну маленькую поправочку, и, по мнению компьютера, картинка переместилась из одной категории в другую.

Вернуться

22

Jiawei Su, Danilo Vasconcellos Vargas and Kouichi Sakurai, One pixel attack for fooling deep neural networks, arXiv:1719.08864v4 [cs.LG], 22 Feb. 2018, https://arxiv.org/pdf/1710.08864.pdf.

На русском языке см. https://habr.com/ru/post/498114/ (Прим. науч. Ред.).

Вернуться

23

Перефразированный комментарий, который дал в 2015 году программист и пионер в области машинного обучения Эндрю Ын. См. Tech Events, ‘GPU Technology Conference 2015 day 3: What’s Next in Deep Learning’, YouTube, 20 Nov. 2015, https://www.youtube.com/watch?v=qP9TOX8T-kI.

Вернуться

24

Международный научный проект OpenWorm преследовал именно такую цель – смоделировать мозг червя. Ученые хотели создать искусственную сеть из 302 нейронов, как в мозге червя C. elegans. Для сравнения, у человека примерно 100 000 000 000 нейронов. См. сайт OpenWorm: http://openworm.org/.

Вернуться

25

Chris Brooke, “I was only following satnav orders” is no defence: driver who ended up teetering on cliff edge convicted of careless driving, Daily Mail, 16 Sept. 2009, http://dailymail.co.uk/news/article-1213891/Driver-ended-teetering-cliff-edge-guilty-blindly-following-sat-nav-directions.html#ixzz59vihbQ2n).

Вернуться

26

Ibid.

Вернуться

27

Robert Epstein and Ronald E. Robertson, The search engine manipulation effect (SEME) and its possible impact on the outcomes of elections, Proceedings of the National Academy of Sciences, vol. 112, no. 33, 2015, pp. E4512–21, http://pnas.org/content/112/33/E4512.

Вернуться

28

Epstein and Robertson, The search engine manipulation effect (SEME).

Вернуться

29

Linda J. Skitka, Kathleen Mosier and Mark D. Burdick, Accountability and automation bias, International Journal of Human – Computer Studies, vol. 52, 2000, pp. 701–717, http://lskitka.people.uic.edu/IJHCS2000.pdf.

Вернуться

30

KW v. Armstrong, US District Court, D. Idaho, 2 May 2012, https://scholar.google.co.uk/scholar_case?case=17062168494596747089&hl=en&as_sdt=2006.

Вернуться

31

Jay Stanley, Pitfalls of Artificial Intelligence Decision making Highlighted in Idaho ACLU Case, American Civil Liberties Union, 2 June 2017, https://aclu.org/blog/privacy-technology/pitfalls-artificial-intelligence-decisionmaking-highlighted-idaho-aclu-case.

Вернуться

32

K. W. v. Armstrong, Leagle.com, 24 March 2014, https://www.leagle.com/decision/infdco20140326c20.

Вернуться

33

Ibid.

Вернуться

34

Stanley, Pitfalls of Artificial Intelligence Decision-making.

Вернуться

35

ACLU, Ruling mandates important protections for due process rights of Idahoans with developmental disabilities, 30 March 2016, https://aclu.org/news/federal-court-rules-against-idaho-department-health-and-welfare-medicaid-class-action.

Вернуться

36

Stanley, Pitfalls of Artificial Intelligence Decision-making.

Вернуться

37

Ibid.

Вернуться

38

Ibid.

Вернуться

39

Ibid.

Вернуться

40

Ibid.

Вернуться

41

Kristine Phillips, The former Soviet officer who trusted his gut – and averted a global nuclear catastrophe, Washington Post, 18 Sept. 2017, https://washing-tonpost.com/news/retropolis/wp/2017/09/18/the-former-soviet-officer-who-trusted-his-gut-and-averted-a-global-nuclear-catastrophe/?utm_term=.6546e0f06cce.

Вернуться

42

Интервью Станислава Петрова Павлу Аксенову. “СССР – США: 23 минуты на грани Апокалипсиса”, BBC, https://bbc.com/russian/multimedia/2013/09/130925_v_petrov_anno.

Вернуться

43

Там же.

Вернуться

44

Stephen Flanagan, Re: Accident at Smiler Rollercoaster, Alton Towers, 2 June 2015: Expert’s Report, prepared at the request of the Health and Safety Executive, Oct. 2015, http://chiark.greenend.org.uk/~ijackson/2016/Expert%20witness%20report%20from%20Steven%20Flanagan.pdf.

Вернуться

45

Последовательное игнорирование предупреждений автоматической системы безопасности также явилось одной из причин аварии на Чернобыльской АЭС в 1986 г. (Прим. науч. ред.)

Вернуться

46

Paul E. Meehl, Clinical versus Statistical Prediction: A Theoretical Analysis and a Review of the Evidence (Minneapolis: University of Minnesota, 1996; first publ. 1954), http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.693.6031&rep=rep1&type=pdf.

Вернуться

47

William M. Grove, David H. Zald, Boyd S. Lebow, Beth E. Snitz and Chad Nelson, Clinical versus mechanical prediction: a meta-analysis, Psychological Assessment, vol. 12, no. 1, 2000, p. 19.

Вернуться

48

Любопытный факт: в конце 1950-х и в 1960-х годах цикл исследований в области “диагностики” (словечко не мое – так выразились авторы) гомосексуальности послужил иллюстрацией к редкому исключению из правила превосходства алгоритмов. В данном случае люди дали гораздо более точные оценки и обошли машину по всем показателям – по-видимому, то, что касается сугубо человеческой природы, невозможно адекватно описать с помощью цифр и математического аппарата.

Вернуться

49

Berkeley J. Dietvorst, Joseph P. Simmons and Cade Massey, Algorithmic aversion: people erroneously avoid algorithms after seeing them err, Journal of Experimental Psychology, Sept. 2014, http://opim.wharton.upenn.edu/risk/library/WPAF201410-AlgorithmAversion-Dietvorst-Simmons-Massey.pdf.

Вернуться

50

Nicholas Carlson, Well, these new Zuckerberg IMs won’t help Facebook’s privacy problems, Business Insider, 13 May 2010, http://businessinsider.com/well-these-new-zuckerberg-ims-wont-help-facebooks-privacy-problems-2010-5? IR=T.

Вернуться

51

Clive Humby, Terry Hunt and Tim Phillips, Scoring Points: How Tesco Continues to Win Customer Loyalty (London: Kogan Page, 2008). Русский перевод: Хамби К., Хант Т., Филлипс Т. Набирая очки. Как розничная сеть супермаркетов Tesco выиграла битву за лояльного покупателя, Днепропетровск: Баланс Бизнес Букс, 2006.

Вернуться

52

Ibid., Kindle edn., рр. 1313–1317.

Вернуться

53

Eric Schmidt, The creepy line, YouTube, 11 Feb. 2013, https://youtube.com/watch?v=o-rvER6YTss.

Вернуться

54

Charles Duhigg, How companies learn your secrets, New York Times, 16 Feb. 2012, https://nytimes.com/2012/02/19/magazine/shopping-habits.html.

Вернуться

55

Ibid.

Вернуться

56

Sarah Buhr, Palantir has raised $ 880 million at a $ 20 billion valuation, TechCrunch, 23 Dec. 2015.

Акции Palantir не обращаются на рынке, поэтому цифры ее стоимости основаны на экспертных оценках и варьируются от 6 до 41 миллиарда долларов. В июле 2020 г. объявлено о грядущем размещении акций на бирже, что позволит точнее оценить рыночную стоимость компании. (Прим. науч. Ред.).

Вернуться

57

Federal Trade Commission, Data Brokers: A Call for Transparency and Accountability, (Washington DC, May 2014), https://ftc.gov/system/files/documents/reports/data-brokers-call-transparency-accountability-report-federal-trade-commission-may-2014/140527databrokerreport.pdf.

Вернуться

58

Ibid.

Вернуться

59

Wolfie Christl, Corporate Surveillance in Everyday Life, Cracked Labs, June 2017, http://crackedlabs.org/en/corporate-surveillance.

Вернуться

60

Cookie нужны не только для рекламы. По ним сайты узнают, авторизовались вы или нет (то есть можно ли без опасений посылать важную информацию) и заходите ли вы на эту страницу регулярно (тогда можно, например, скорректировать на сайте авиакомпании или отправить вам на почту код для скидки в интернет-магазине одежды).

Вернуться

61

Heidi Waterhouse, The death of data: retention, rot, and risk, The Lead Developer, Austin, Texas, 2 March 2018, https://youtube.com/watch?v=mXvPChEo9iU.

Вернуться

62

Amit Datta, Michael Carl Tschantz and Anupam Datta, Automated experiments on ad privacy settings, Proceedings on Privacy Enhancing Technologies, no. 1, 2015, pp. 92–112.

Вернуться

63

Latanya Sweeney, Discrimination in online ad delivery, Queue, vol. 11, no. 3, 2013, p. 10, https://dl.acm.org/citation.cfm?id=2460278.

Вернуться

64

Jon Brodkin, Senate votes to let ISPs sell your Web browsing history to advertisers, Ars Technica, 23 March 2017, https://arstechnica.com/tech-policy/2017/03/senate-votes-to-let-isps-sell-your-web-browsing-history-to-advertisers/.

Вернуться

65

Svea Eckert and Andreas Dewes, Dark data, DEFCON Conference 25, 20 Oct. 2017, https://youtube.com/watch?v=1nvYGi7-Lxo.

Вернуться

66

Эти условия ясно прописаны в пользовательском соглашении плагина, который еще и называется Web of Trust (“Сеть доверия”).

Вернуться

67

В этой части работы исследователи опирались на статью Арвинда Нараянана и Виталия Шматикова, представленную на Международном симпозиуме IEEE по безопасности и неприкосновенности личного пространства. Arvind Narayanan and Vitaly Shmatikov, “Robust deanonymization of large sparse datasets”, IEEE Symposium on Security and Privacy, 18–22 May 2008.

Вернуться

68

Michal Kosinski, David Stillwell and Thore Graepel, Private traits and attributes are predictable from digital records of human behavior, Proceedings of the National Academy of Sciences, vol. 110, no. 15, 2013, pp. 5802–5805.

Вернуться

69

Ibid.

Вернуться

70

Wu Youyou, Michal Kosinski and David Stillwell, Computer-based personality judgments are more accurate than those made by humans, Proceedings of the National Academy of Sciences, vol. 112, no. 4, 2015, pp. 1036–1040.

Вернуться

71

Похоже, это говорит о том, что я писала бы туда чаще, если бы не так беспокоилась о реакции на мои посты.

Вернуться

72

S. C. Matz, M. Kosinski, G. Nave and D. J. Stillwell, Psychological targeting as an effective approach to digital mass persuasion, Proceedings of the National Academy of Sciences, vol. 114, no. 48, 2017, https://www.pnas.org/content/114/48/12714.

Вернуться

73

Paul Lewis and Paul Hilder, Leaked: Cambridge Analytica’s blueprint for Trump victory, Guardian, 23 March 2018.

Вернуться

74

Cambridge Analytica planted fake news, BBC, 20 March 2018, http://www.bbc.co.uk/news/av/world-43472347/cambridge-analytica-planted-fake-news.

Вернуться

75

Adam D. I. Kramer, Jamie E. Guillory and Jeffrey T. Hancock, Experimental evidence of massive-scale emotional contagion through social networks, Proceedings of the National Academy of Sciences, vol. 111, no. 24, 2014, pp. 8788–8790.

Вернуться

76

Jamie Bartlett, Big data is watching you – and it wants your vote, Spectator, 24 March 2018.

Вернуться

77

Li Xiaoxiao, Ant Financial Subsidiary Starts Offering Individual Credit Scores, Caixin, 2 March 2015, https://caixinglobal.com/2015–03-02/101012655.html.

Вернуться

78

Rick Falkvinge, In China, your credit score is now affected by your political opinions – and your friends’ political opinions Privacy News Online, 3 Oct. 2015, https://privateinternetaccess.com/blog/2015/10/in-china-your-credit-score-is-now-affected-by-your-political-opinions-and-your-friends-political-opinions/.

Вернуться

79

State Council Guiding Opinions Concerning Establishing and Perfecting Incentives for Promise-keeping and Joint Punishment Systems for Trust-breaking, and Accelerating the Construction of Social Sincerity, China Copyright and Media, 30 May 2016, updated 18 Oct. 2016, https://chinacopyrightandmedia.wordpress.com/2016/05/30/state-council-guiding-opinions-concerning-establishing-and-perfecting-incentives-for-promise-keeping-and-joint-punishment-systems-for-trust-breaking-and-accelerating-the-construction-of-social-sincer/.

Вернуться

80

Rachel Botsman, Who Can You Trust? How Technology Brought Us Together – and Why It Could Drive Us Apart (London: Penguin, 2017), Kindle edn., p. 151.

Вернуться

81

John-Paul Ford Rojas, London riots: Lidl water thief jailed for six months, Telegraph, 7 Jan. 2018, http://telegraph.co.uk/news/uknews/crime/8695988/London-riots-Lidl-water-thief-jailed-for-six-months.html.

Вернуться

82

Matthew Taylor, London riots: how a peaceful festival in Brixton turned into a looting free-for-all, Guardian, 8 Aug. 2011, https://theguardian.com/uk/2011/aug/08/london-riots-festival-brixton-looting.

Вернуться

83

Rojas, London riots.

Вернуться

84

Josh Halliday, London riots: how BlackBerry Messenger played a key role, Guardian, 8 Aug. 2011, https://theguardian.com/media/2011/aug/08/london-riots-facebook-twitter-blackberry.

Вернуться

85

David Mills, Paul and Richard Johnson avoid prison over riots, News Shopper, 13 Jan. 2012, http://newsshopper.co.uk/londonriots/9471288. Father_and_son_avoid_prison_over_riots/.

Вернуться

86

Ibid.

Вернуться

87

Rojas, London riots. Ханна Куэрк, специалист по уголовному праву, доцент Манчестерского университета, в 2015 году писала об этом деле: “Как правило, по обвинению такого рода не арестовывают, не запирают в камере и не отдают под суд”. Carly Lightowlers and Hannah Quirk, The 2011 English “riots”: prosecutorial zeal and judicial abandon, British Journal of Criminology, vol. 55, no. 1, 2015, pp. 65–85.

Вернуться

88

Mills, Paul and Richard Johnson avoid prison over riots.

Вернуться

89

William Austin and Thomas A. Williams III, A survey of judges’ responses to simulated legal cases: research note on sentencing disparity, Journal of Criminal Law and Criminology, vol. 68, no. 2, 1977, pp. 306–310.

Вернуться

90

Mandeep K. Dhami and Peter Ayton, Bailing and jailing the fast and frugal way, Journal of Behavioral Decision-making, vol. 14, no. 2, 2001, pp. 141–168, http://onlinelibrary.wiley.com/doi/10.1002/bdm.371/abstract.

Вернуться

91

Почти половина судей разошлись во мнениях о наиболее правильном порядке действий в каждом случае.

Вернуться

92

В статистике есть свой количественный критерий такого согласия в судейских решениях – так называемая каппа Коэна. Метод основан на предположении, что даже при простом угадывании в итоге может быть достигнута сходимость результатов. Полной воспроизводимости соответствует единица. Ноль означает, что оценки хаотичны. Судьи показали баллы от 0 до 1, в среднем 0,69.

Вернуться

93

Diane Machin, Sentencing guidelines around the world, paper prepared for Scottish Sentencing Council), May 2005, https://scottishsentencingcouncil.org.uk/media/1109/paper-31a-sentencing-guidelines-around-the-world.pdf.

Вернуться

94

Ibid.

Вернуться

95

Ibid.

Вернуться

96

Впервые условно-досрочное освобождение начали применять во Франции в 1700-х годах – осужденного выпускали на волю, если он обещал больше не совершать преступлений: https://www.etymonline.com/word/parole.

Вернуться

97

Ernest W. Burgess, Factors determining success or failure on parole, in The Workings of the Intermediate-sentence Law and Parole System in Illinois (Springfield, IL: State Board of Parole, 1928). Эта работа довольно тяжела для восприятия, вместо нее можно почитать статью Кларка Тиббитса, коллеги Бёрджесса, опубликованную позже: Clark Tibbitts, Success or failure on parole can be predicted: a study of the records of 3,000 youths paroled from the Illinois State Reformatory, Journal of Criminal Law and Criminology, vol. 22, no. 1, Spring 1931, https://scholarlycommons.law.northwestern.edu/cgi/viewcontent.cgi?article=2211&context=jclc. Бёрджесс обозначил и другие социальные типы – “белая ворона”, “невольный преступник”, “тупица” и “гангстер”. По его мнению, меньше всех рисковали вновь оказаться на скамье подсудимых люди из категории “деревенщина”.

Вернуться

98

Karl F. Schuessler, Parole prediction: its history and status, Journal of Criminal Law and Criminology, vol. 45, no. 4, 1955, pp. 425–431, https://pdfs.semanticscholar.org/4cd2/31dd25321a0c14a9358a93ebccb6f15d3169.pdf.

Вернуться

99

Ibid.

Вернуться

100

Bernard E. Harcourt, Against Prediction: Profiling, Policing, and Punishing in an Actuarial Age (Chicago and London: University of Chicago Press, 2007), p. 1.

Вернуться

101

Philip Howard, Brian Francis, Keith Soothill and Les Humphreys, OGRS 3: The Revised Offender Group Reconviction Scale, Research Summary 7/09 (London: Ministry of Justice, 2009), https://core.ac.uk/download/pdf/1556521.pdf.

Вернуться

102

Небольшая оговорка: в этой статистике, вероятно, есть систематическая ошибка. Обычно “помощи зала” просят в первых раундах, пока вопросы еще довольно простые. Тем не менее этот феномен, когда коллективное мнение группы оказывается более верным, чем мнение одного человека, находит подтверждение в литературе. См.: James Surowiecki, The Wisdom of Crowds: Why the Many Are Smarter than the Few, New York, Doubleday, 2004, p. 4. Русский перевод: – Шуровьевски Дж. Мудрость толпы. Почему вместе мы умнее, чем поодиночке… М.: “Манн, Иванов и Фербер”, 2014.

Вернуться

103

Netflix Technology Blog, https://medium.com/netflix-techblog/netflix-recommendations-beyond-the-5-stars-part-2-d9b96aa399f5.

Вернуться

104

Shih-ho Cheng, Unboxing the random forest classifier: the threshold distributions, Airbnb Engineering and Data Science, https://medium.com/airbnb-engineering/unboxing-the-random-forest-classifier-the-threshold-distributions-22ea2bb58ea6.

Вернуться

105

Jon Kleinberg, Himabindu Lakkaraju, Jure Leskovec, Jens Ludwig and Sendhil Mullainathan, Human Decisions and Machine Predictions, NBER Working Paper no. 23180 (Cambridge, MA: National Bureau of Economic Research, Feb. 2017), http://nber.org/papers/w23180. На самом деле в этом исследовании использовался “градиентный бустинг над решающими деревьями” – подход, подобный “случайным лесам”, но отличный от них. В обоих методах для принятия решения агрегируются прогнозы множества решающих деревьев, с той разницей, что при градиентном бустинге деревья вырастают последовательно, а в случайных лесах – параллельно. Для этого исследования данные предварительно поделили пополам. На одной половине учили алгоритм, а другую зарезервировали. Готовый к работе алгоритм брал примеры из той половины, которую ему до сих пор не показывали, и пытался предсказать грядущие события. Если бы данные изначально не разделили на две части, алгоритм просто превратился бы в мудреную справочную таблицу.

Вернуться

106

Ученые не пожалели времени на разработку статистических методов для решения этой конкретной задачи, так что все-таки можно провести обоснованное сравнение прогнозов, которые дали люди и машины. Подробнее об этом см. Kleinberg et al., Human Decisions and Machine Predictions.

Вернуться

107

“Costs per place and costs per prisoner by individual prison”, National Offender Management Service Annual Report and Accounts 2015–16, Management Information Addendum, Ministry of Justice information release, 27 Oct. 2016, https://gov.uk/government/uploads/system/uploads/attachment_data/file/563326/costs-per-place-cost-per-prisoner-2015–16.pdf.

Вернуться

108

Marc Santora, City’s annual cost per inmate is $ 168,000, study finds, New York Times, 23 Aug. 2013, http://nytimes.com/2013/08/24/nyregion/citys-annual-cost-per-inmate-is-nearly-168000-study-says.html; Harvard University, Harvard at a glance, https://harvard.edu/about-harvard/harvard-glance.

Вернуться

109

Luke Dormehl, The Formula: How Algorithms Solve All Our Problems… and Create More (London: W. H. Allen, 2014), p. 123.

Вернуться

110

Julia Angwin, Jeff Larson, Surya Mattu and Lauren Kirchner, Machine bias, ProPublica, 23 May 2016, https://propublica.org/article/machine-bias-risk-assessments-in-criminal-sentencing.

Вернуться

111

‘Risk assessment’ questionnaire, https://documentcloud.org/documents/2702103 -Sample-Risk-Assessment-COMPAS-CORE.html.

Вернуться

112

Tim Brennan, William Dieterich and Beate Ehret (Northpointe Institute), Evaluating the predictive validity of the COMPAS risk and needs assessment system, Criminal Justice and Behavior, vol. 36, no. 1, 2009, pp. 21–40, http://northpointeinc.com/files/publications/Criminal-Justice-Behavior-COMPAS.pdf. Согласно исследованию 2018 года алгоритм COMPAS продемонстрировал такую же точность, как “коллектив” респондентов. Исследователи опросили двадцать неподготовленных человек и показали, что их прогноз повторного правонарушения совпадает с оценкой системы COMPAS. Это интересное сравнение, но нельзя забывать, что в реальности у судей нет за дверью бригады незнакомцев, высказывающих свое мнение. Судьи работают в одиночку. И сравнивать им не с чем. См. Julia Dressel and Hany Farid, “The accuracy, fairness, and limits of predicting recidivism”, Science Advances, vol. 4, no. 1, 2018.

Вернуться

113

Christopher Drew Brooks v. Commonwealth, Court of Appeals of Virginia, Memorandum Opinion by Judge Rudolph Bumgardner III, 28 Jan. 2004, https://law.justia.com/cases/virginia/court-of-appeals-unpublished/2004/2540023.html.

Вернуться

114

ACLU brief challenges constitutionality of Virginia’s sex offender risk assessment guidelines, American Civil Liberties Union Virginia, 28 Oct. 2003, https://acluva.org/en/press-releases/aclu-brief-challenges-constitutionality-virginias-sex-offender-risk-assessment.

Вернуться

115

State v. Loomis, Supreme Court of Wisconsin, 13 July 2016, http://caselaw.findlaw.com/wi-supreme-court/1742124.html.

Вернуться

116

Из личной беседы с Ричардом Берком.

Вернуться

117

Angwin et al., Machine bias.

Вернуться

118

Global Study on Homicide 2013 (Vienna: United Nations Office on Drugs and Crime, 2014), http://unodc.org/documents/gsh/pdfs/2014_GLOBAL_HOMICIDE_BOOK_web.pdf.

Вернуться

119

Вероятность такого результата существует всегда, даже без учета пола в расчетах. При любом методе прогнозирования, основанном на таких параметрах, которые в большей мере свойственны одной группе, чем другой – например, на наличии ранее совершенных насильственных преступлений, – несправедливость может иметь место.

Вернуться

120

ACLU, The war on marijuana in black and white, June 2013, https://www.aclu.org/report/report-war-marijuana-black-and-white.

Вернуться

121

Наверное, должно вызвать удивление, что Верховный суд Висконсина поддержал позицию Equivant. Эрик Лумис, которого судья при помощи оценочного инструмента COMPAS приговорил к шести годам тюремного заключения, подал апелляцию. В деле “Лумис против штата Висконсин” говорилось, что использование находящейся в частной собственности компьютерной программы с закрытым кодом для оценки риска и вынесения приговора нарушало право обвиняемого на справедливое рассмотрение дела, так как защита не могла оспорить научную обоснованность оценки. Однако Верховный суд Висконсина постановил, что применение судом первой инстанции машинного средства оценки при вынесении приговора не нарушало право подсудимого на надлежащую правовую процедуру: Supreme Court of Wisconsin, case no. 2015AP157-CR, opinion filed 13 July 2016, https://wicourts.gov/sc/opinion/DisplayDocument.pdf?content=pdf&seqNo=171690.

Вернуться

122

Lucy Ward, Why are there so few female maths professors in universities? Guardian, 11 March 2013, https://theguardian.com/lifeandstyle/the-womens-blog-with-jane-martinson/2013/mar/11/women-maths-professors-uk-universities.

Вернуться

123

Sonja B. Starr and M. Marit Rehavi, Racial Disparity in Federal Criminal Charging and Its Sentencing Consequences, Program in Law and Economics Working Paper no. 12–002 (Ann Arbor: University of Michigan Law School, 7 May 2012), http://economics.ubc.ca/files/2013/05/pdf_paper_marit-rehavi-racial-disparity-federal-criminal.pdf.

Вернуться

124

David Arnold, Will Dobbie and Crystal S. Yang, Racial Bias in Bail Decisions, NBER Working Paper no. 23421 (Cambridge, MA: National Bureau of Economic Research, 2017), https://princeton.edu/~wdobbie/files/racialbias.pdf.

Вернуться

125

John J. Donohue III, Capital Punishment in Connecticut, 1973–2007: A Comprehensive Evaluation from 4686 Murders to One Execution (Stanford, CA, and Cambridge, MA: Stanford Law School and National Bureau of Economic Research, Oct. 2011), https://law.stanford.edu/wp-content/uploads/sites/default/files/publication/259986/doc/slspublic/fulltext.pdf.

Вернуться

126

Adam Benforado, Unfair: The New Science of Criminal Injustice (New York: Crown, 2015), p. 197.

Вернуться

127

Sonja B. Starr, Estimating Gender Disparities in Federal Criminal Cases, University of Michigan Law and Economics Research Paper no. 12–018 (Ann Arbor: University of Michigan Law School, 29 Aug. 2012), https://ssrn.com/abstract=2144002 или http://dx.doi.org/10.2139/ssrn.2144002.

Вернуться

128

David B. Mustard, Racial, ethnic, and gender disparities in sentencing: evidence from the US federal courts, Journal of Law and Economics, vol. 44, no. 2, April 2001, pp. 285–314, http://people.terry.uga.edu/mustard/sentencing.pdf.

Вернуться

129

Daniel Kahneman, Thinking, Fast and Slow (New York: Farrar, Straus & Giroux, 2011), p. 44. Русское издание: Канеман Д. Думай медленно… решай быстро. М.: АСТ, 2017.

Вернуться

130

Если бы мяч стоил 10 пенсов, то бита должна была бы стоить 1 фунт 10 пенсов, что в сумме составило бы 1 фунт 20 пенсов.

Вернуться

131

Chris Guthrie, Jeffrey J. Rachlinski and Andrew J. Wistrich, Blinking on the Bench: How Judges Decide Cases, paper no. 917 (New York: Cornell University Law Faculty, 2007), http://scholarship.law.cornell.edu/facpub/917.

Вернуться

132

Kahneman, Thinking, Fast and Slow, p. 13.

Вернуться

133

Ibid., p. 415.

Вернуться

134

Dhami and Ayton, Bailing and jailing the fast and frugal way.

Вернуться

135

Brian Wansink, Robert J. Kent and Stephen J. Hoch, An anchoring and adjustment model of purchase quantity decisions, Journal of Marketing Research, vol. 35, 1998, pp. 71–81, http://foodpsychology.cornell.edu/sites/default/files/unmanaged_files/Anchoring-JMR-1998.pdf.

Вернуться

136

Mollie Marti and Roselle Wissler, Be careful what you ask for: the effect of anchors on personal injury damages awards, Journal of Experimental Psychology: Applied, vol. 6, no. 2, 2000, pp. 91–103.

Вернуться

137

Birte Englich and Thomas Mussweiler, Sentencing under uncertainty: anchoring effects in the courtroom, Journal of Applied Social Psychology, vol. 31, no. 7, 2001, pp. 1535–1551, http://onlinelibrary.wiley.com/doi/10.1111/j.1559–1816.2001.tb02687.x.

Вернуться

138

Birte Englich, Thomas Mussweiler and Fritz Strack, Playing dice with criminal sentences: the influence of irrelevant anchors on experts’ judicial decision making, Personality and Social Psychology Bulletin, vol. 32, 2006, pp. 188–200, https://researchgate.net/publication/7389517_Playing_Dice_With_Criminal_Sentences_The_Influence_of_Irrelevant_Anchors_on_Experts%27_Judicial_Decision_Making. Criminal sentencing by preferred numbers, Journal of Empirical Legal Studies, vol. 17, no. 1, 2020, pp. 139–163. https://doi.org/10.1111/jels.12246.

Вернуться

139

Ibid.

Вернуться

140

Ibid.

Вернуться

141

Mandeep K. Dhami, Ian K. Belton, Elizabeth Merrall, Andrew McGrath and Sheila Bird, Sentencing in doses: is individualized justice a myth? (готовится к печати). С любезного разрешения Мандип Дхами, из личной беседы с ней.

Вернуться

142

Ibid.

Вернуться

143

Adam N. Glynn and Maya Sen, Identifying judicial empathy: does having daughters cause judges to rule for women’s issues? American Journal of Political Science, vol. 59, no. 1, 2015, pp. 37–54, https://scholar.harvard.edu/files/msen/files/daughters.pdf.

Вернуться

144

Shai Danziger, Jonathan Levav and Liora Avnaim-Pesso, Extraneous factors in judicial decisions, Proceedings of the National Academy of Sciences of the United States of America, vol. 108, no. 17, 2011, pp. 6889–6892, http://pnas.org/content/108/17/6889.

Вернуться

145

Keren Weinshall-Margel and John Shapard, Overlooked factors in the analysis of parole decisions, Proceedings of the National Academy of Sciences of the United States of America, vol. 108, no. 42, 2011, E833, http://pnas.org/content/108/42/E833.long.

Вернуться

146

Uri Simonsohn and Francesca Gino, Daily horizons: evidence of narrow bracketing in judgment from 9,000 MBA-admission interviews, Psychological Science, vol. 24, no. 2, 2013, pp. 219–224, https://ssrn.com/abstract=2070623.

Вернуться

147

Lawrence E. Williams and John A. Bargh, Experiencing physical warmth promotes interpersonal warmth, Science, vol. 322, no. 5901, pp. 606–607, https://ncbi.nlm.nih.gov/pmc/articles/PMC2737341/.

Вернуться

148

Richard M. Levenson, Elizabeth A. Krupinski, Victor M. Navarro and Edward A. Wasserman. Pigeons (Columba livia) as trainable observers of pathology and radiology breast cancer images, PLOSOne, 18 Nov. 2015, http://journals.plos.org/plosone/article?id=10.1371/journal.pone.0141357.

Вернуться

149

Hippocrates’ daughter as a dragon kills a knight, in “The Travels of Sir John Mandeville”, British Library Online Gallery, 26 March 2009, http://bl.uk/onlinegallery/onlineex/illmanus/harlmanucoll/h/011hrl000003954u00008v00.html.

Вернуться

150

Eleni Tsiompanou, Hippocrates: timeless still, JLL Bulletin: Commentaries on the History of Treatment Evaluation (Oxford and Edinburgh: James Lind Library, 2012), http://jameslindlibrary.org/articles/hippocrates-timeless-still/.

Вернуться

151

David K. Osborne, Hippocrates: father of medicine, GreekMedicine.net, 2015, http://greekmedicine.net/whos_who/Hippocrates.html.

Вернуться

152

Richard Colgan, Is there room for art in evidence-based medicine? AMA Journal of Ethics, Virtual Mentor 13: 1, Jan. 2011, pp. 52–54, http://journalofethics.ama-assn.org/2011/01/msoc1–1101.html.

Вернуться

153

Joseph Needham, Science and Civilization in China, vol. 6, Biology and Biological Technology, part VI, Medicine, ed. Nathan Sivin (Cambridge: Cambridge University Press, 2004), p. 143, https://monoskop.org/images/1/16/Needham_Joseph_Science_and_Civilisation_in_China_Vol_6–6_Biology_and_Biological_Technology_Medicine.pdf.

Вернуться

154

“Ignaz Semmelweis”, Brought to Life: Exploring the History of Medicine (London: Science Museum n.d.), http://broughttolife.sciencemuseum.org.uk/broughttolife/people/ignazsemmelweis.

Вернуться

155

“Где Уолли?” – серия детских книг Мартина Хендфорда, где нужно найти человечка Уолли на картинках среди множества людей. (Прим. ред.)

Вернуться

156

Из личной беседы с Энди Беком.

Вернуться

157

Joann G. Elmore, Gary M. Longton, Patricia A. Carney, Berta M. Geller, Tracy Onega, Anna N. A. Tosteson, Heidi D. Nelson, Margaret S. Pepe, Kimberly H. Allison, Stuart J. Schnitt, Frances P. O’Malley and Donald L. Weaver, Diagnostic concordance among pathologists interpreting breast biopsy specimens, Journal of the American Medical Association, vol. 313, no. 11, 17 March 2015, 1122–32, https://jamanetwork.com/journals/jama/fullarticle/2203798.

Вернуться

158

Ibid.

Вернуться

159

Термин “нейросеть” взят по аналогии с мозговыми процессами. В мозге миллиарды нейронов связываются друг с другом, образуя колоссальную сеть. Каждый нейрон слушает своих соседей и, получив сигнал от другого возбужденного нейрона, переправляет его дальше. Сигнал возбуждает следующие нейроны, которые его слушают.

Нейросеть – это сильно упрощенная и более упорядоченная версия мозга. Ее искусственные нейроны располагаются слоями, все нейроны каждого слоя слушают нейроны предыдущего слоя. В нашей задаче с собакой отдельные пиксели изображения – это первый слой. За ним идут несколько слоев с тысячами нейронов в каждом, последний слой представляет собой единственный нейрон, который выдает вероятность того, что на исходной картинке изображена собака.

Процедура корректировки нейронов называется алгоритмом обратного распространения ошибки. Все начинается с последнего нейрона, оценивающего вероятность того, что в программу ввели изображение собаки, а не кого-то или чего-то еще. Допустим, мы ввели изображение собаки и получили предположение, что с вероятностью 70 % на картинке изображена собака. Нейрон воспринимает сигналы, поступившие с предыдущего слоя, и сообщает: “В следующий раз, когда я получу такую информацию, я увеличу вероятность того, что на изображении есть собака”. Затем он обращается к каждому из нейронов предыдущего слоя: “Привет, если вы вместо этого сигнала дадите мне такой-то, я отвечу поточнее”. Все эти нейроны смотрят на свои входящие сигналы и корректируют исходящие для следующей попытки. Далее они сообщают предыдущему слою, какие сигналы те должны послать в свою очередь – и так далее, слой за слоем, вплоть до самого первого. От этого процесса передачи сообщений об ошибке по всей нейросети назад и происходит термин “обратное распространение ошибки”.

Подробнее о нейросетях – об их устройстве и обучении – можно почитать в книге Педро Домингоса “Верховный алгоритм: как машинное обучение изменит наш мир”. (русский перевод В. Горохова, М.: “Манн, Иванов и Фербер”, 2016).

Вернуться

160

Alex Krizhevsky, Ilya Sutskever and Geoffrey E. Hinton, ImageNet classification with deep convolutional neural networks, in F. Pereira, C. J. C. Burges, L. Bottou and K. Q. Weinberger, eds, Advances in Neural Information Processing Systems 25 (La Jolla, CA, Neural Information Processing Systems Foundation, 2012), pp. 1097–1105, http://papers.nips.cc/paper/4824-imagenet-classification-with-deep-convolutional-neural-networks.pdf. Этот алгоритм получил название “свёрточная нейронная сеть”. Для него не загружают исходное изображение полностью – сначала эта программа применяет множество различных фильтров и ищет в измененном изображении включенные в него небольшие паттерны.

Вернуться

161

Marco Tulio Ribeiro, Sameer Singh and Carlos Guestrin, “Why should I trust you?” Explaining the predictions of any classifier, 22nd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining, San Francisco, 2016, pp. 1135–1144, http://kdd.org/kdd2016/papers/files/rfp0573-ribeiroA.pdf.

Вернуться

162

Ответы докторов сравнивали с коллективными результатами анализа проб, выполненного группой экспертов, – их заключение принималось за “эталон”.

Вернуться

163

Trafton Drew, Melissa L. H. Vo and Jeremy M. Wolfe, The invisible gorilla strikes again: sustained inattentional blindness in expert observers, Psychological Science, vol. 24, no. 9, Sept. 2013, pp. 1848–1853, https://ncbi.nlm.nih.gov/pmc/articles/PMC3964612/.

Вернуться

164

Горилла находится вверху справа.

Вернуться

165

Yun Liu, Krishna Gadepalli, Mohammad Norouzi, George E. Dahl, Timo Kohlberger, Aleksey Boyko, Subhashini Venugopalan, Aleksei Timofeev, Philip Q. Nelson, Greg S. Corrado, Jason D. Hipp, Lily Peng and Martin C. Stumpe, Detecting cancer metastases on gigapixel pathology images, Cornell University Library, 8 March 2017, https://arxiv.org/abs/1703.02442.

Вернуться

166

Dayong Wang, Aditya Khosla, Rishab Gargeya, Humayun Irshad and Andrew H. Beck, Deep learning for identifying metastatic breast cancer, Cornell University Library, 18 June 2016, https://arxiv.org/abs/1606.05718.

Вернуться

167

David A. Snowdon, The Nun Study, Boletin de LAZOS de la Asociación Alzheimer de Monterrey, vol. 4, no. 22, 2000; D. A. Snowdon, Healthy aging and dementia: findings from the Nun Study, Annals of Internal Medicine, vol. 139, no. 5, Sept. 2003, pp. 450–454.

Вернуться

168

Плотность мыслей как индикатор лингвистической развитости рассчитывалась по количеству отдельных мыслей монахини на фразу из десяти слов. Об этом есть интересная статья: Associated Press, Study of nuns links early verbal skills to Alzheimer’s, Los Angeles Times, 21 Feb. 1996, http://articles.latimes.com/1996-02-21/news/mn-38356_1_alzheimer-nuns-studied.

Вернуться

169

Maja Nielsen, Jørn Jensen and Johan Andersen, Pre-cancerous and cancerous breast lesions during lifetime and at autopsy: a study of 83 women, Cancer, vol. 54, no. 4, 1984, pp. 612–615, http://onlinelibrary.wiley.com/wol1/doi/10.1002/1097–0142 (1984) 54:4 %3C612::AID – CNCR2820540403 %3E3.0. CO;2-B/-abstract.

Вернуться

170

H. Gilbert Welch and William C. Black, Using autopsy series to estimate the disease “reservoir” for ductal carcinoma in situ of the breast: how much more breast cancer can we find? Annals of Internal Medicine, vol. 127, no. 11, Dec. 1997, pp. 1023–1028, www.vaoutcomes.org/papers/Autopsy_Series.pdf.

Вернуться

171

Точная статистика зависит от страны и демографической ситуации – а также от того, насколько активно занимаются онкоскринингом молочных желез в стране, – поэтому такие данные получить трудно. Полный обзор британской статистики см. здесь: https://www.cancerresearchuk.org/health-professional/cancer-statistics/statistics-by-cancer-type/breast-cancer.

Вернуться

172

Из личной беседы с Джонатаном Каневским.

Вернуться

173

Breakthrough method predicts risk of DCIS becoming invasive breast cancer, Artemis, May 2010, http://hopkinsbreastcenter.org/artemis/201005/3.html.

Вернуться

174

H. Gilbert Welch, Philip C. Prorok, A. James O’Malley and Barnett S. Kramer, Breast-cancer tumor size, overdiagnosis, and mammography screening effectiveness, New England Journal of Medicine, vol. 375, 2016, pp. 1438–1447, http://nejm.org/doi/full/10.1056/NEJMoa1600249.

Вернуться

175

Independent UK Panel on Breast Cancer Screening, The benefits and harms of breast cancer screening: an independent review, Lancet, vol. 380, no. 9855, 30 Oct. 2012, pp. 1778–1786, http://thelancet.com/journals/lancet/article/PIIS0140–6736 (12) 61611–0/abstract.

Вернуться

176

Из личной беседы.

Вернуться

177

Andrew H. Beck, Ankur R. Sangoi, Samuel Leung, Robert J. Marinelli, Torsten O. Nielsen, Marc J. van de Vijver, Robert B. West, Matt van de Rijn and Daphne Koller, Systematic analysis of breast cancer morphology uncovers stromal features associated with survival, Science Transitional Medicine, 19 Dec. 2014, https://becklab.hms.harvard.edu/files/becklab/files/sci_transl_med-2011-beck-108ra113.pdf.

Вернуться

178

Phi Vu Tran, A fully convolutional neural network for cardiac segmentation in short-axis MRI, 27 April 2017, https://arxiv.org/pdf/1604.00494.pdf.

Вернуться

179

Emphysema, Imaging Analytics, Zebra Medical, https://zebra-med.com/algorithms/lungs/.

Вернуться

180

Eun-Jae Lee, Yong-Hwan Kim, Dong-Wha Kang et al., Deep into the brain: artificial intelligence in stroke imaging, Journal of Stroke, vol. 19, no. 3, 2017, pp. 277–285, https://ncbi.nlm.nih.gov/pmc/articles/PMC5647643/.

Вернуться

181

Taylor Kubota, Deep learning algorithm does as well as dermatologists in identifying skin cancer, Stanford News, 25 Jan. 2017, https://news.stanford.edu/2017/01/25/artificial-intelligence-used-identify-skin-cancer/.

Вернуться

182

Российский аналог Jeopardy! – “Своя игра”. (Прим. перев.)

Вернуться

183

Buckle (англ.) – пряжка; гнуть; сгибаться под давлением, уступать; рухнуть; ответ на вопрос в игре: “Что означает слово buckle?” (Прим. перев.)

Вернуться

184

С Байесом мы еще встретимся в главе “Автомобили”.

Вернуться

185

Jenning Brown, Why everyone is hating on IBM Watson, including the people who helped make it, Gizmodo, 14 Aug. 2017, https://gizmodo.com.au/2017/08/why-everyone-is-hating-on-watsonincluding-the-people-who-helped-make-it/.

Вернуться

186

https://theregister.co.uk/2017/02/20/watson_cancerbusting_trial_on_hold_after_damning_audit_report/

Вернуться

187

Casey Ross and Ike Swetlitz, IBM pitched its Watson supercomputer as a revolution in cancer care. It’s nowhere close, STAT, 5 Sept. 2017, https://statnews.com/2017/09/05/watson-ibm-cancer/.

Вернуться

188

Tomoko Otake, Big data used for rapid diagnosis of rare leukemia case in Japan, Japan Times, 11 Aug. 2016, https://japantimes.co.jp/news/2016/08/11/national/science-health/ibm-big-data-used-for-rapid-diagnosis-of-rare-leukemia-case-in-japan/#.Wf8S_hO0MQ8.

Вернуться

189

Researchers validate five new genes responsible for ALS, Science Daily, 1 Dec. 2017, https://sciencedaily.com/releases/2017/12/171201104101.htm.

Вернуться

190

John Freedman, A reality check for IBM’s AI ambitions, MIT Technology Review, 27 June 2017.

Вернуться

191

Asthma facts and statistics, Asthma UK, 2016, https://asthma.org.uk/about/media/facts-and-statistics/; Asthma in the US, Centers for Disease Control and Prevention, May 2011, https://cdc.gov/vitalsigns/asthma/index.html.

Вернуться

192

Schoolgirl, 13, who died of asthma attack was making regular trips to A&E and running out of medication – but was NEVER referred to a specialist even when her lips turned blue, mother tells inquest, Daily Mail, 13 Oct. 2015, http://dailymail.co.uk/news/article-3270728/Schoolgirl-13-died-asthma-attack-not-referred-specialist-lips-turned-blue.html.

Вернуться

193

My Data, My Care: How Better Use of Data Improves Health and Wellbeing (London: Richmond Group of Charities, Jan. 2017), https://richmondgroupofcharities.org.uk/publications.

Вернуться

194

Terence Carney, Regulation 28: report to prevent future deaths, coroner’s report on the case of Tamara Mills, 29 Oct. 2015, https://judiciary.gov.uk/publications/tamara-mills/.

Вернуться

195

Jamie Grierson and Alex Hern, Doctors using Snapchat to send patient scans to each other, panel finds, Guardian, 5 July 2017, https://theguardian.com/technology/2017/jul/05/doctors-using-snapchat-to-send-patient-scans-to-each-other-panel-finds.

Вернуться

196

Даже если удастся каким-либо способом обойти все эти помехи, может не хватить собственно данных. Существуют тысячи редких, можно сказать, уникальных заболеваний с генетической подоплекой. Зачастую медикам трудно поставить такой диагноз из-за того, что во многих случаях они за всю свою практику не встречали подобных патологий. Ни один алгоритм не решит задачу, имея очень маленькую выборку.

Вернуться

197

Hal Hodson, Revealed: Google AI has access to huge haul of NHS patient data, New Scientist, 29 April 2016, https://www.newscientist.com/article/2086454-revealed-google-ai-has-access-to-huge-haul-of-nhs-patient-data/.

Вернуться

198

По правде говоря, вина, скажем так, за “юридически неправомерный” контракт почти полностью лежит на подразделении Государственной службы здравоохранения, которое, наверное, слишком поспешно бросилось сотрудничать со знаменитой компанией в области искусственного интеллекта. Посмотрите письмо дамы-командора Фионы Колдикотт, главы ведомства, защищающего национальные данные, которое оказалось в распоряжении телевизионного канала Sky News: Alex Martin, Google received 1.6 million NHS patients’ data on an “inappropriate legal basis”, Sky News, 15 May 2017, https://news.sky.com/story/google-received-1–6-million-nhs-patients-data-on-an-inappropriate-legal-basis-10879142

Вернуться

199

Denis Campbell, Surgeons attack plans to delay treatment to obese patients and smokers, Guardian, 29 Nov. 2016, https://theguardian.com/society/2016/nov/29/surgeons-nhs-delay-treatment-obese-patients-smokers-york.

Вернуться

200

Nir Eyal, Denial of treatment to obese patients: the wrong policy on personal responsibility for health, International Journal of Health Policy and Management, vol. 1, no. 2, Aug. 2013, pp. 107–10, https://ncbi.nlm.nih.gov/pmc/articles/PMC3937915/.

Вернуться

201

О том, как это было, см. http://galton.org/essays/1880–1889/galton-1884-jaigi-anthro-lab.pdf.

Вернуться

202

Francis Galton, On the Anthropometric Laboratory at the late international health exhibition, Journal of the Anthropological Institute of Great Britain and Ireland, vol. 14, 1885, pp. 205–221.

Вернуться

203

Taste, https://permalinks.23andme.com/pdf/samplereport_traits.pdf.

Вернуться

204

Sneezing on summer solstice? 23andMeBlog, 20 June 2012, https://blog.23andme.com/health-traits/sneezing-on-summer-solstice/.

Вернуться

205

Find out what your DNA says about your health, traits and ancestry, 23andMe, https://www.23andme.com/en-gb/dna-health-ancestry/.

Вернуться

206

Kristen v. Brown, 23andMe is selling your data but not how you think, Gizmodo, 14 April 2017, https://gizmodo.com/23andme-is-selling-your-data-but-not-how-you-think-1794340474.

Вернуться

207

Michael Grothaus, How23andMe is monetizing your DNA, Fast Company, 15 Jan. 2015, https://fastcompany.com/3040356/what-23andme-is-doing-with-all-that-dna.

Вернуться

208

Rob Stein, Found on the Web, with DNA: a boy’s father, Washington Post, 13 Nov. 2005, http://washingtonpost.com/wp-dyn/content/article/2005/11/12/AR2005–111200958.html.

Вернуться

209

Получив результаты анализа ДНК, этот парень нашел определенный участок своей Y-хромосомы (тот, что передается от отца к сыну) еще у двух человек с одинаковой фамилией, дальних родственников по отцовской линии. Их фамилии вкупе с местом и датой рождения его отца оказалось достаточно, чтобы его вычислить.

Вернуться

210

M. Gymrek, A. L. McGuire, D. Golan, E. Halperin and Y. Erlich, Identifying personal genomes by surname inference, Science, vol. 339, no. 6117, Jan. 2013, pp. 321–324, https://ncbi.nlm.nih.gov/pubmed/23329047.

Вернуться

211

В настоящее время коммерческие лаборатории не проводят тесты ДНК на болезнь Гентингтона.

Вернуться

212

Matthew Herper, 23andMe rides again: FDA clears genetic tests to predict disease risk, Forbes, 6 April 2017, https://forbes.com/sites/matthewherper/2017/04/06/23andme-rides-again-fda-clears-genetic-tests-to-predict-disease-risk/#302aea624fdc.

Вернуться

213

Мой друг, генетик Адам Резерфорд, подробно объяснил мне, почему на самом деле нельзя сказать, викинг вы или нет. Я просто хотела его поддразнить. Научное обо-снование этому вы найдете в его книге A Brief History of Everyone Who Ever Lived: The Stories in Our Genes (London: Weidenfeld & Nicolson, 2016). (Русское издание: Резерфорд А. Краткая история всех, кто когда-либо жил. М.: “Бомбора”, 2019).

Вернуться

214

DARPA, Grand Challenge 2004: Final Report (Arlington, VA: Defence Advanced Research Projects Agency, 30 July 2004), http://esd.whs.mil/Portals/54/Documents/FOID/Reading%20Room/DARPA/15-F-0059_GC_2004_FINAL_RPT_7–30-2004.pdf.

Вернуться

215

The Worldwide Guide to Movie Locations, 7 Sept. 2014, http://movie-locations.com/movies/k/Kill_Bill_Vol_2.html#.WkYiqrTQoQ8.

Вернуться

216

Mariella Moon, What you need to know about DARPA, the Pentagon’s mad science division, Engadget, 7 July 2014, https://engadget.com/2014/07/07/darpa-explainer/.

Вернуться

217

DARPA, Urban Challenge: Overview, http://archive.darpa.mil/grandchallenge/overview.html.

Вернуться

218

Sebastian Thrun, Winning the DARPA Grand Challenge, 2 Aug. 2006, YouTube, 8 Oct. 2007, https://youtube.com/watch?v=j8zj5lBpFTY.

Вернуться

219

DARPA, Urban Challenge: Overview.

Вернуться

220

DARPA Grand Challenge 2004 – road to…, YouTube, 22 Jan. 2014, https://youtube.com/watch?v=FaBJ5sPPmcI.

Вернуться

221

Alex Davies, An oral history of the DARPA Grand Challenge, the grueling robot race that launched the self-driving car, Wired, 8 March 2017, https://www.wired.com/story/darpa-grand-challenge-2004-oral-history/.

Вернуться

222

Desert race too tough for robots, BBC News, 15 March 2004, http://news.bbc.co.uk/1/hi/technology/3512270.stm.

Вернуться

223

Davies, An oral history of the DARPA Grand Challenge.

Вернуться

224

Denise Chow, DARPA and drone cars: how the US military spawned self-driving car revolution, LiveScience, 21 March 2014, https://livescience.com/44272-darpa-self-driving-car-revolution.html.

Вернуться

225

Joseph Hooper, From Darpa Grand Challenge 2004 DARPA’s debacle in the desert, Popular Science, 4 June 2004, https://popsci.com/scitech/article/2004–06/darpa-grand-challenge-2004darpas-debacle-desert.

Вернуться

226

Davies, An oral history of the DARPA Grand Challenge.

Вернуться

227

DARPA, Report to Congress: DARPA Prize Authority. Fiscal Year 2005 Report in Accordance with 10 U. S. C. 2374a, March 2006, http://archive.darpa.mil/grandchallenge/docs/grand_challenge_2005_report_to_congress.pdf.

Вернуться

228

Alan Ohnsman, Bosch and Daimler to partner to get driverless taxis to market by early 2020s, Forbes, 4 April 2017, https://forbes.com/sites/alanohnsman/2017/04/04/bosch-and-daimler-partner-to-get-driverless-taxis-to-market-by-early-2020s/#306ec7e63c4b.

Вернуться

229

Ford, Looking Further: Ford Will Have a Fully Autonomous Vehicle in Operation by 2021, https://corporate.ford.com/innovation/autonomous-2021.html.

Вернуться

230

Should your driverless car hit a pedestrian to save your life? New York Times, 23 June 2016, https://nytimes.com/2016/06/24/technology/should-your-driverless-car-hit-a-pedestrian-to-save-your-life.html.

Вернуться

231

Clive Thompson, Anna Wiener, Ferris Jabr, Rahawa Haile, Geoff Manaugh, Jamie Lauren Keiles, Jennifer Kahn and Malia Wollan, Full tilt: when 100 per cent of cars are autonomous, New York Times, 8 Nov. 2017, https://nytimes.com/interactive/2017/11/08/magazine/tech-design-autonomous-future-cars-100-percent-augmented-reality-policing.html#the-end-of-roadkill.

Вернуться

232

Peter Campbell, Trucks headed for a driverless future: unions warn that millions of drivers’ jobs will be disrupted, Financial Times, 31 Jan. 2018, https://ft.com/content/7686ea3e-e0dd-11e7-a0d4–0944c5f49e46.

Вернуться

233

Markus Maurer, J. Christian Gerdes, Barbara Lenz and Hermann Winner, Autonomous Driving: Technical, Legal and Social Aspects (New York: Springer, May 2016), p. 48.

Вернуться

234

Stephen Zavestoski and Julian Agyeman, Incomplete Streets: Processes, Practices, and Possibilities (London: Routledge, 2015), p. 29.

Вернуться

235

Maurer et al., Autonomous Driving, p. 53.

Вернуться

236

David Rooney, Self-guided Cars (London: Science Museum, 27 Aug. 2009), https://blog.sciencemuseum.org.uk/self-guided-cars/.

Вернуться

237

Blake Z. Rong, How Mercedes sees into the future, Autoweek, 22 Jan. 2014, http://autoweek.com/article/car-news/how-mercedes-sees-future.

Вернуться

238

Dean A. Pomerleau, ALVINN: An Autonomous Land Vehicle In a Neural Network, CMU-CS-89–107 (Pittsburgh: Carnegie Mellon University, Jan. 1989), http://repository.cmu.edu/cgi/viewcontent.cgi?article=2874&context=compsci.

Вернуться

239

ALVINN, Autonomous Land Vehicle In a Neural Network – автономное сухопутное транспортное средство на основе нейронной сети. (Прим. перев.).

Вернуться

240

LiDAR (Light Detection and Ranging) – обнаружение и определение дальности с помощью света. (Прим. перев.)

Вернуться

241

A. Filgueira, H. González-Jorge, S. Lagüela, L. Diaz-Vilariño and P. Arias, Quantifying the influence of rain in LiDAR performance, Measurement, vol. 95, Jan. 2017, pp. 143–148, DOI: https://doi.org/10.1016/j.measurement.2016.10.009; https://sciencedirect.com/science/article/pii/S0263224116305577.

Вернуться

242

Chris Williams, Stop lights, sunsets, junctions are tough work for Google’s robo-cars, The Register, 24 Aug. 2016, https://theregister.co.uk/2016/08/24/google_self_driving_car_problems/.

Вернуться

243

Novatel, IMU Errors and Their Effects, https://novatel.com/assets/Documents/Bulletins/APN064.pdf.

Вернуться

244

Сама теорема представляет собой уравнение, связывающее вероятность выполнения гипотезы при наступлении события и вероятность наступления события при условии, что гипотеза верна. Более научное объяснение см. по ссылке https://arbital.com/p/bayes_rule/?l=1zq.

Вернуться

245

Sharon Bertsch McGrayne, The Theory That Would Not Die: How Bayes’ Rule Cracked the Enigma Code, Hunted Down Russian Submarines, and Emerged Triumphant from Two Centuries of Controversy (New Haven: Yale University Press, 2011).

Вернуться

246

В компьютере IBM Watson, о котором шла речь в главе “Медицина”, активно используется так называемый байесовский вывод. См. https://www.ibm.com/developerworks/library/os-ind-watson/.

Вернуться

247

Перси Диаконис, математик из Стэнфордского университета, очень точно выразился об автомобиле своей команды, в конечном итоге победившем в гонках 2005 года: “В этой машине каждый винтик байесовский”.

Вернуться

248

В прессе, начиная с New York Times и заканчивая Mail On Sunday, перебирались различные сценарии. Что, если дорогу переходит девяностолетняя старушка? А если ребенок? Вдруг в машине сидит нобелевский лауреат? Дилемма, в сущности, одна и та же.

Вернуться

249

Jason Kottke, Mercedes’ Solution to the Trolley Problem, Kottke.org, 24 Oct. 2016, https://kottke.org/16/10/mercedes-solution-to-the-trolley-problem.

Вернуться

250

Все цитаты из личной беседы с Полом Ньюменом.

Вернуться

251

Naaman Zhou, Volvo admits its self-driving cars are confused by kangaroos, Guar-dian, 1 July 2017, https://theguardian.com/technology/2017/jul/01/volvo-admits-its-self-driving-cars-are-confused-by-kangaroos.

Вернуться

252

Все цитаты из личной беседы с Джеком Стилгоу.

Вернуться

253

Jeff Sabatini, The one simple reason nobody is talking realistically about driverless cars, Car and Driver, Oct. 2017, https://caranddriver.com/features/the-one-reason-nobody-is-talking-realistically-about-driverless-cars-feature.

Вернуться

254

William Langewiesche, The human factor, Vanity Fair, 17 Sept. 2014, https://vanityfair.com/news/business/2014/10/air-france-flight-447-crash.

Вернуться

255

Bureau d’Enquêtes et d’Analyses pour la Sécuritié de l’Aviation Civile, Final Report on the Accident on 1st June 2009 to the Airbus A330–203 registered F-GZCP operated by Air France Flight AF447 Rio de Janeiro – Paris, Eng. edn (Paris, updated July 2012), https://bea.aero/docspa/2009/f-cp090601.en/pdf/f-cp090601.en.pdf.

Вернуться

256

Ibid.

Вернуться

257

Langewiesche, The human factor.

Вернуться

258

Ibid.

Вернуться

259

Jeff Wise, What really happened aboard Air France 447, Popular Mechanics, 6 Dec. 2011, http://popularmechanics.com/flight/a3115/what-really-happened-aboard-air-france-447–6611877/.

Вернуться

260

Langewiesche, The human factor.

Вернуться

261

Wise, What really happened aboard Air France 447.

Вернуться

262

Lisanne Bainbridge, Ironies of automation, Automatica, vol. 19, no. 6, Nov. 1983, pp. 775–779, https://sciencedirect.com/science/article/pii/0005109883900468.

Вернуться

263

Кое-что можно сделать, чтобы компенсировать недостаток практического опыта. Например, после катастрофы самолета Air France в обучении пилотов стали обращать больше внимания на управление при сбоях автопилота, и летчикам настоятельно рекомендуют почаще выключать автопилот, чтобы не терять мастерства.

Вернуться

264

Ibid.

Вернуться

265

Alex Davies, Everyone wants a level 5 self-driving car – here’s what that means, Wired, 26 July 2016.

Вернуться

266

Justin Hughes, Car autonomy levels explained, The Drive, 3 Nov. 2017, http://thedrive.com/sheetmetal/15724/what-are-these-levels-of-autonomy-anyway.

Вернуться

267

Bainbridge, Ironies of automation.

Вернуться

268

Jack Stilgoe, Machine learning, social learning and the governance of self-driving cars, Social Studies of Science, vol. 48, no. 1, 2017, pp. 25–56.

Вернуться

269

Eric Tingwall, Where are autonomous cars right now? Four systems tested, Car and Driver, Oct. 2017, https://caranddriver.com/features/where-are-autonomous-cars-right-now-four-systems-tested-feature.

Вернуться

270

Tracey Lindeman, Using an orange to fool Tesla’s autopilot is probably a really bad idea, Motherboard, 16 Jan. 2018, https://motherboard.vice.com/en_us/article/a3na9p/tesla-autosteer-orange-hack.

Вернуться

271

Daisuke Wakabayashi, Uber’s self-driving cars were struggling before Arizona Crash, New York Times, 23 March 2018, https://nytimes.com/2018/03/23/technology/uber-self-driving-cars-arizona.html.

Вернуться

272

Sam Levin, Video released of Uber self-driving crash that killed woman in Arizona, Guardian, 22 March 2018, https://www.theguardian.com/technology/2018/mar/22/video-released-of-uber-self-driving-crash-that-killed-woman-in-arizona.

Вернуться

273

Audi, The Audi vision of autonomous driving, Audi Newsroom, 11 Sept. 2017, https://media.audiusa.com/en-us/releases/184.

Вернуться

274

Поднявшись на следующую ступеньку частичной автоматизации, машины третьего уровня – такие, как Audi с системой управления в плотном трафике, – способны при определенных условиях, когда все хорошо, полностью брать контроль на себя. Водитель должен быть готов к активным действиям, если машина попадет в непонятную ей ситуацию, но неотрывно следить за дорогой и автомобилем уже не нужно. Здесь можно провести аналогию с подростком, которому велели помыть посуду.

Вернуться

275

P. Morgan, C. Alford and G. Parkhurst, Handover Issues in Autonomous Driving: A Lite-rature Review. Project Report (Bristol: University of the West of England, June 2016), http://eprints.uwe.ac.uk/29167/1/Venturer_WP5.2Lit%20ReviewHandover.pdf.

Вернуться

276

Langewiesche, The human factor.

Вернуться

277

Evan Ackerman, Toyota’s Gill Pratt on self-driving cars and the reality of full autonomy, IEEE Spectrum, 23 Jan. 2017, https://spectrum.ieee.org/cars-that-think/transportation/self-driving/toyota-gill-pratt-on-the-reality-of-full-autonomy.

Вернуться

278

Julia Pyper, Self-driving cars could cut greenhouse gas pollution, Scientific American, 15 Sept. 2014, https://scientificamerican.com/article/self-driving-cars-could-cut-greenhouse-gas-pollution/.

Вернуться

279

Raphael E. Stern et al., Dissipation of stop-and-go waves via control of autonomous vehicles: field experiments, arXiv: 1705.01693v1, 4 May 2017, https://arxiv.org/abs/1705.01693.

Вернуться

280

SomeJoe7777, Tesla Model S forward collision warning saves the day, YouTube, 19 Oct. 2016, https://youtube.com/watch?v=SnRp56XjV_M.

Вернуться

281

В феврале 2018 года, когда я писала эти строки, “оборудование для полного автоматического управления” устанавливалось при желании покупателя за дополнительную плату, хотя программного обеспечения для полностью автономных поездок в настоящее время в машинах нет. На сайте Tesla говорится: “Когда именно будут реализованы все описанные выше технические возможности, точно сказать нельзя”. См. https://www.tesla.com/en_GB/blog/all-tesla-cars-being-produced-now-have-full-self-driving-hardware.

Вернуться

282

Jordan Golson and Dieter Bohn, All new Tesla cars now have hardware for “full self-driving capabilities”: but some safety features will be disabled initially, The Verge, 19 Oct. 2016, https://theverge.com/2016/10/19/13340938/tesla-autopilot-update-model-3-elon-musk-update.

Вернуться

283

Fred Lambert, Tesla introduces first phase of “Enhanced Autopilot”: “measured and cautious for next several hundred million miles” – release notes, Electrek, 1 Jan 2017, https://electrek.co/2017/01/01/tesla-enhanced-autopilot-release-notes/.

Вернуться

284

Так называемый “напарник автопилота” действительно существует, его можно приобрести по сходной цене 179 долларов. Надо отметить, что на сайте написано мелкими буковками: “Никогда не используйте это устройство на дорогах общего пользования”. https://www.autopilotbuddy.com/.

Вернуться

285

DPC Cars, Toyota Guardian and Chauffeur autonomous vehicle platform, YouTube, 27 Sept. 2017, https://youtube.com/watch?v=IMdceKGJ9Oc.

Вернуться

286

Brian Milligan, The most significant development since the safety belt, BBC News, 15 April 2018, http://bbc.co.uk/news/business-43752226.

Вернуться

287

Bob Taylor, Crimebuster: Inside the Minds of Britain’s Most Evil Criminals (London: Piatkus, 2002), ch. 9, A day out from jail.

Вернуться

288

Программа BBC, в которой показывают реконструкции нераскрытых преступлений с целью сбора информации в помощь полиции. (Прим. перев.).

Вернуться

289

Ibid.

Вернуться

290

Nick Davies, Dangerous, in prison – but free to rape, Guardian, 5 Oct. 1999, https://theguardian.com/uk/1999/oct/05/nickdavies1.

Вернуться

291

João Medeiros, How geographic profiling helps find serial criminals, Wired, Nov. 2014, http://wired.co.uk/article/mapping-murder.

Вернуться

292

Nicole H. Rafter, ed., The Origins of Criminology: A Reader (Abingdon: Routledge, 2009), p. 271.

Вернуться

293

Luke Dormehl, The Formula: How Algorithms Solve All Our Problems… and Create More (London: W. H. Allen, 2014), p. 117.

Вернуться

294

Dormehl, The Formula, p. 116.

Вернуться

295

D. Kim Rossmo, Geographic profiling, in Gerben Bruinsma and David Weisburd, eds, Encyclopedia of Criminology and Criminal Justice (New York: Springer, 2014), https://link.springer.com/referenceworkentry/10.1007 %2F978–1-4614–5690-2_678.

Вернуться

296

Ibid.

Вернуться

297

João Medeiros, How geographic profiling helps find serial criminals.

Вернуться

298

Ibid.

Вернуться

299

“Sadistic” serial rapist sentenced to eight life terms, Independent (Ireland), 6 Oct. 1999, http://independent.ie/world-news/sadistic-serial-rapist-sentenced-to-eight-life-terms-26134260.html.

Вернуться

300

Ibid.

Вернуться

301

Steven C. Le Comber, D. Kim Rossmo, Ali N. Hassan, Douglas O. Fuller and John C. Beier, Geographic profiling as a novel spatial tool for targeting infectious disease control, International Journal of Health Geographics, vol. 10, no.1, 2011, p. 35, https://ncbi.nlm.nih.gov/pmc/articles/PMC3123167/.

Вернуться

302

Michelle V. Hauge, Mark D. Stevenson, D. Kim Rossmo and Steven C. Le Comber, Tagging Banksy: using geographic profiling to investigate a modern art mystery, Journal of Spatial Science, vol. 61, no. 1, 2016, pp. 185–190, http://tandfonline.com/doi/abs/10.1080/14498596.2016.1138246.

Вернуться

303

Raymond Dussault, Jack Maple: betting on intelligence, Government Technology, 31 March 1999, http://govtech.com/featured/Jack-Maple-Betting-on-Intelligence.html.

Вернуться

304

Ibid.

Вернуться

305

Ibid.

Вернуться

306

Nicole Gelinas, How Bratton’s NYPD saved the subway system, New York Post, 6 Aug. 2016, http://nypost.com/2016/08/06/how-brattons-nypd-saved-the-subway-system/.

Вернуться

307

Dussault, Jack Maple: betting on intelligence.

Вернуться

308

Andrew Guthrie Ferguson, Predictive policing and reasonable suspicion, Emory Law Journal, vol. 62, no. 2, 2012, p. 259, http://law.emory.edu/elj/content/volume-62/issue-2/articles/predicting-policing-and-reasonable-suspicion.html.

Вернуться

309

Lawrence W. Sherman, Patrick R. Gartin and Michael E. Buerger, Hot spots of predatory crime: routine activities and the criminology of place, Criminology, vol. 27, no. 1, 1989, pp. 27–56, http://onlinelibrary.wiley.com/doi/10.1111/j.1745–9125.1989.tb00862.x/abstract.

Вернуться

310

Toby Davies and Shane D. Johnson, Examining the relationship between road structure and burglary risk via quantitative network analysis, Journal of Quantitative Criminology, vol. 31, no. 3, 2015, pp. 481–507, http://discovery.ucl.ac.uk/1456293/5/Johnson_art%253A10.1007%252Fs10940-014–9235-4.pdf.

Вернуться

311

В данном случае “мы” – это именно мы. Статью, в которой описано это исследование, мы опубликовали вместе с Майклом Фритом, моим замечательным аспирантом.

Вернуться

312

Англ. boost – создание популярности, рекламирование. (Прим. перев.)

Вернуться

313

Spencer Chainey, Predictive Mapping (Predictive Policing), JDI Brief (London: Jill Dando Institute of Security and Crime Science, University College London, 2012), http://discovery.ucl.ac.uk/1344080/3/JDIBriefs_PredictiveMappingSChaineyApril2012.pdf.

Вернуться

314

Ibid.

Вернуться

315

Небольшое уточнение. Свободный доступ к самой программе PredPol закрыт. Эксперимент, о котором идет речь, проводили математики, авторы программы, по методике, в точности повторяющей описанную в подлиннике. По всем признакам, методика та же самая, но, строго говоря, мы не можем быть в этом уверены полностью.

Вернуться

316

G. O. Mohler, M. B. Short, Sean Malinowski, Mark Johnson, G. E. Tita, Andrea L. Bertozzi and P. J. Brantingham, Randomized controlled field trials of predictive policing, Journal of the American Statistical Association, vol. 110, no. 512, 2015, pp. 1399–1411, http://tandfonline.com/doi/abs/10.1080/01621459.2015.1077710.

Вернуться

317

Kent Police Corporate Services Analysis Department, PredPol Operational Review, 2014, http://statewatch.org/docbin/uk-2014-kent-police-predpol-op-review.pdf.

Вернуться

318

Mohler et al., Randomized controlled field trials of predictive policing.

Вернуться

319

Kent Police Corporate Services Analysis Department, PredPol Operational Review: Initial Findings, 2013, https://whatdotheyknow.com/request/181341/response/454199/attach/3/13%2010%20888%20Appendix.pdf.

Вернуться

320

Kent Police Corporate Services Analysis Department, PredPol Operational Review.

Вернуться

321

Это был не PredPol, а другой алгоритм, далеко не такой сложный, но в нем тоже использовались эффекты “флажка” и “буста”. См. статью Matthew Fielding and Vincent Jones, Disrupting the optimal forager: predictive risk mapping and domestic burglary reduction in Trafford, Greater Manchester, International Journal of Police Science and Management, vol. 14, no. 1, 2012, pp. 30–41.

Вернуться

322

Joe Newbold, “Predictive policing”, “preventative policing” or “intelligence led policing”. What is the future? Warwick Business School, 2015. (Консультационный проект для апробации в программе Бизнес-школы Университета Уорика.)

Вернуться

323

Данные 2016 года: COMPSTAT, Citywide Profile 12/04/16–12/31/16, http://assets.lapdonline.org/assets/pdf/123116cityprof.pdf.

Вернуться

324

Ronald V. Clarke and Mike Hough, Crime and Police Effectiveness, Home Office Research Study no. 79 (London: HMSO, 1984), https://archive.org/stream/op1276605-1001/op1276605-1001_djvu.txt, as told in Tom Gash, Criminal: The Truth about Why People Do Bad Things (London: Allen Lane, 2016).

Вернуться

325

Kent Police Corporate Services Analysis Department, PredPol Operational Review.

Вернуться

326

PredPol, Recent examples of crime reduction, 2017, http://predpol.com/results/.

Вернуться

327

Aaron Shapiro, Reform predictive policing, Nature, vol. 541, no. 7638, 25 Jan. 2017, http://nature.com/news/reform-predictive-policing-1.21338.

Вернуться

328

Chicago Data Portal, Strategic Subject List, https://data.cityofchicago.org/Public-Safety/Strategic-Subject-List/4aki-r3np.

Вернуться

329

Jessica Saunders, Priscilla Hunt and John Hollywood, Predictions put into practice: a quasi-experimental evaluation of Chicago’s predictive policing pilot, Journal of Experimental Criminology, vol. 12, no. 3, 2016, pp. 347–371.

Вернуться

330

Copblock, Innocent man arrested for robbery and assault, spends two months in Denver jail, 28 April 2015, https://copblock.org/122644/man-arrested-for-robbery-assault-he-didnt-commit-spends-two-months-in-denver-jail/.

Вернуться

331

Ibid.

Вернуться

332

Ava Kofman, How a facial recognition mismatch can ruin your life, The Intercept, 13 Oct. 2016.

Вернуться

333

Ibid.

Вернуться

334

Copblock, Denver police, “Don’t f*ck with the biggest gang in Denver” before beating man wrongfully arrested – TWICE!!, 30 Jan. 2016, https://copblock.org/152823/denver-police-fck-up-again/.

Вернуться

335

На самом деле с Талли произошла даже более жуткая история, чем та, которую я вам коротко изложила. После первого ареста Талли отсидел два месяца, после чего его отпустили, так и не предъявив ему обвинения. Год он скитался по приютам для бездомных, а потом его арестовали опять. На этот раз обвинение не было снято, и против него выступало ФБР. Его дело развалилось окончательно, когда кассирша банка, заметив, что на руках Талли не было родинок, которые она видела у проходившего мимо стойки грабителя, сказала на суде: “Это не тот человек, который меня ограбил”. Талли возбудил иск о компенсации на сумму 10 миллионов долларов. Полный отчет представлен в статье Кофман “Как ваша жизнь может пойти под откос из-за промаха алгоритма распознавания лиц” (см. выше прим. 44).

Вернуться

336

Justin Huggler, Facial recognition software to catch terrorists being tested at Berlin station, Telegraph, 2 Aug. 2017, http://telegraph.co.uk/news/2017/08/02/facial-recognition-software-catch-terrorists-tested-berlin-station/.

Вернуться

337

David Kravets, Driver’s license facial recognition tech leads to 4,000 New York arrests, Ars Technica, 22 Aug. 2017, https://arstechnica.com/tech-policy/2017/08/biometrics-leads-to-thousands-of-a-ny-arrests-for-fraud-identity-theft/.

Вернуться

338

Ruth Mosalski, The first arrest using facial recognition software has been made, Wales Online, 2 June 2017, http://walesonline.co.uk/news/local-news/first-arrest-using-facial-recognition-13126934.

Вернуться

339

Sebastian Anthony, UK police arrest man via automatic face recognition tech, Ars Technica, 6 June 2017, https://arstechnica.com/tech-policy/2017/06/police-automatic-face-recognition.

Вернуться

340

David White, Richard I. Kemp, Rob Jenkins, Michael Matheson and A. Mike Burton, Passport officers’ errors in face matching, PLOSOne, 18 Aug. 2014, http://journals.plos.org/plosone/article?id=10.1371/journal.pone.0103510#s6.

Вернуться

341

Teghan Lucas and Maciej Henneberg, Are human faces unique? A metric approach to finding single individuals without duplicates in large samples, Forensic Science International, vol. 257, Dec. 2015, pp. 514e1–514.e6, http://sciencedirect.com/science/article/pii/S0379073815003758.

Вернуться

342

Zaria Gorvett, You are surprisingly likely to have a living doppelganger, BBC Future, 13 July 2016, http://bbc.com/future/story/20160712-you-are-surprisingly-likely-to-have-a-living-doppelganger.

Вернуться

343

Eyewitness misidentification, The Innocence Project, https://innocenceproject.org/causes/eyewitness-misidentification.

Вернуться

344

Douglas Starr, Forensics gone wrong: when DNA snares the innocent, Science, 7 March 2016, http://sciencemag.org/news/2016/03/forensics-gone-wrong-when-dna-snares-innocent.

Вернуться

345

Это не означает, что в экспертизе по ДНК не может быть ошибочной идентификации, – может; это означает лишь, что вы владеете методом, который позволяет свести такие ошибки к минимуму.

Вернуться

346

Richard W. Vorder Bruegge, Individualization of People from Images (Quantico, Va., FBI Operational Technology Division, Forensic Audio, Video and Image Analysis Unit), 12 Dec. 2016, https://nist.gov/sites/default/files/documents/2016/12/12/vorderbruegge-face.pdf.

Вернуться

347

Lance Ulanoff, The iPhone X can’t tell the difference between twins, Mashable UK, 31 Oct. 2017, http://mashable.com/2017/10/31/putting-iphone-x-face-id-to-twin-test/#A87kA26aAqqQ.

Вернуться

348

Kif Leswing, Apple says the iPhone X’s facial recognition system isn’t for kids, Business Insider UK, 27 Sept. 2017, http://uk.businessinsider.com/apple-says-the-iphone-xs-face-id-is-less-accurate-on-kids-under-13–2017-9.

Вернуться

349

Andy Greenberg, Watch a 10-year-old’s face unlock his mom’s iPhone X, Wired, 14 Nov. 2017, https://wired.com/story/10-year-old-face-id-unlocks-mothers-iphone-x/.

Вернуться

350

Bkav’s new mask beats Face ID in “twin way”: severity level raised, do not use Face ID in business transactions, Bkav Corporation, 27 Nov. 2017, http://bkav.com/dt/top-news/-/view_content/content/103968/bkav%EF%BF%BDs-new-mask-beats-face-id-in-twin-way-severity-level-raised-do-not-use-face-id-in-business-transactions.

Вернуться

351

Mahmood Sharif, Sruti Bhagavatula, Lujo Bauer and Michael Reiter, Accessorize to a crime: real and stealthy attacks on state-of-the-art face recognition. Работа была представлена на конференции Ассоциации вычислительной техники ACM SIGSAC Conference, 2016, https://cs.cmu.edu/~sbhagava/papers/face-rec-ccs16.pdf.

Вернуться

352

Ira Kemelmacher-Shlizerman, Steven M. Seitz, Daniel Miller and Evan Brossard, The MegaFace Benchmark: 1 Million Faces for Recognition at Scale, Computer Vision Foundation, 2015, https://arxiv.org/abs/1512.00596

Вернуться

353

Half of all American adults are in a police face recognition database, new report finds, press release, Georgetown Law, 18 Oct. 2016, https://law.georgetown.edu/news/press-releases/half-of-all-american-adults-are-in-a-police-face-recognition-database-new-report-finds.cfm.

Вернуться

354

Josh Chin and Liza Lin, China’s all-seeing surveillance state is reading its citizens’ faces, Wall Street Journal, 6 June 2017, https://wsj.com/articles/the-all-seeing-surveillance-state-feared-in-the-west-is-a-reality-in-china-1498493020.

Вернуться

355

Daniel Miller, Evan Brossard, Steven M. Seitz and Ira Kemelmacher-Shlizerman, The MegaFace: A Million Faces for Recognition at Scale, 2015, https://arxiv.org/pdf/1505.02108.pdf.

Вернуться

356

Этот процент говорит о том, сколько истинных совпадений лиц не зафиксировал алгоритм, настроенный на пропуск сомнительных случаев. О том, какие ошибки может совершить алгоритм, подробнее говорится в главе “Правосудие”, а о различных способах оценки точности – в главе “Медицина”.

Вернуться

357

Ibid.

Вернуться

358

MegaFace and MF2: Million-Scale Face Recognition, Most recent public results, 12 March 2017, http://megaface.cs.washington.edu/; Leading facial recognition platform Tencent YouTu Lab smashes records in MegaFace facial recognition challenge, Cision PR Newswire, 14 April 2017, http://prnewswire.com/news-releases/leading-facial-recognition-platform-tencent-youtu-lab-smashes-records-in-megaface-facial-recognition-challenge-300439812.html.

Вернуться

359

Dan Robson, Facial recognition a system problem gamblers can’t beat? TheStar.com, 12 Jan. 2011, https://thestar.com/news/gta/2011/01/12/facial_recognition_a_system_problem_gamblers_cant_beat.html.

Вернуться

360

British Retail Consortium, 2016 Retail Crime Survey (London: BRC, Feb. 2017), https://brc.org.uk/media/116348/10081-brc-retail-crime-survey-2016_all-graphics-latest.pdf.

Вернуться

361

D&D Daily, The D&D Daily’s 2016 Retail Violent Death Report, 9 March 2017, http://d-ddaily.com/archivesdaily/DailySpecialReport03–09-17F.htm.

Вернуться

362

Joan Gurney, Walmart’s use of facial recognition tech to spot shoplifters raises privacy concerns, iQ Metrix, 9 Nov. 2015, http://iqmetrix.com/blog/walmarts-use-of-facial-recognition-tech-to-spot-shoplifters-raises-privacy-concerns.

Вернуться

363

Andy Coghlan and James Randerson, How far should fingerprints be trusted? New Scientist, 14 Sept. 2005, https://newscientist.com/article/dn8011-how-far-should-fingerprints-be-trusted/.

Вернуться

364

Phil Locke, Blood spatter – evidence? The Wrongful Convictions Blog, 30 April 2012, https://wrongfulconvictionsblog.org/2012/04/30/blood-spatter-evidence/.

Вернуться

365

Michael Shermer, Can we trust crime forensics? Scientific American, 1 Sept. 2015, https://scientificamerican.com/article/can-we-trust-crime-forensics/.

Вернуться

366

National Research Council of the National Academy of Sciences, Strengthening Forensic Science in the United States: A Path Forward (Washington DC: National Academies Press, 2009), p. 7, https://ncjrs.gov/pdffiles1/nij/grants/228091.pdf.

Вернуться

367

Colin Moynihan, Hammer attacker sentenced to 22 years in prison, New York Times, 19 July 2017, https://nytimes.com/2017/07/19/nyregion/hammer-attacker-sentenced-to-22-years-in-prison.html?mcubz=0.

Вернуться

368

Jeremy Tanner, David Baril charged in hammer attacks after police-involved shooting, Pix11, 14 May 2015, http://pix11.com/2015/05/14/david-baril-charged-in-hammer-attacks-after-police-involved-shooting/.

Вернуться

369

Long-time fugitive captured juggler was on the run for 14 years, FBI, 12 Aug. 2014, https://fbi.gov/news/stories/long-time-fugitive-neil-stammer-captured.

Вернуться

370

Pei-Sze Cheng, I-Team: use of facial recognition technology expands as some question whether rules are keeping up, NBC 4NewYork, 23 June 2015, http://nbcnewyork.com/news/local/Facial-Recognition-NYPD-Technology-Video-Camera-Police-Arrest-Surveillance-309359581.html.

Вернуться

371

Nate Berg, Predicting crime, LAPD-style, Guardian, 25 June 2014, https://theguardian.com/cities/2014/jun/25/predicting-crime-lapd-los-angeles-police-data-analysis-algorithm-minority-report.

Вернуться

372

С другой стороны, в 14 лет я была без ума и от PJ & Duncan – что я понимала?

Вернуться

373

Matthew J. Salganik, Peter Sheridan Dodds and Duncan J. Watts, Experimental study of inequality and unpredictability in an artificial cultural market, Science, vol. 311, 10 Feb. 2006, p. 854, DOI: 10.1126/science.1121066, https://princeton.edu/~mjs3/salganik_dodds_watts06_full.pdf.

Вернуться

374

http://princeton.edu/~mjs3/musiclab.shtml.

Вернуться

375

Kurt Kleiner, Your taste in music is shaped by the crowd, New Scientist, 9 Feb. 2006, https://newscientist.com/article/dn8702-your-taste-in-music-is-shaped-by-the-crowd/.

Вернуться

376

Bjorn Carey, The science of hit songs, LiveScience, 9 Feb. 2006, https://livescience.com/7016-science-hit-songs.html.

Вернуться

377

Rotten Tomatoes – “Гнилые помидоры”, сайт, на котором публикуются обзоры и новости о кино. (Прим. перев.)

Вернуться

378

Жаль, что формат книги не рассчитан на музыкальные цитаты. Мне очень хотелось бы, чтобы вы послушали эту образцово-отвратительную запись. Может, погуглите на досуге?

Вернуться

379

Matthew J. Salganik and Duncan J. Watts, Leading the herd astray: an experimental study of self-fulfilling prophecies in an artificial cultural market, Social Psychology Quarterly, vol. 74, no. 4, Fall 2008, p. 338, DOI: https://doi.org/10.1177/019027250807100404.

Вернуться

380

S. Sinha and S. Raghavendra, Hollywood blockbusters and long-tailed distributions: an empirical study of the popularity of movies, European Physical Journal B, vol. 42, 2004, pp. 293–296, DOI: https://doi.org/10.1140/epjb/e2004–00382-7; http://econwpa.repec.org/eps/io/papers/0406/0406008.pdf.

Вернуться

381

‘John Carter’: analysis of a so-called flop: a look at the box office and critical reaction to Disney’s early tentpole release ‘John Carter’, WhatCulture, http://whatculture.com/film/john-carter-analysis-of-a-so-called-flop.

Вернуться

382

J. Valenti, Motion pictures and their impact on society in the year 2000, speech given at the Midwest Research Institute, Kansas City, 25 April 1978, p. 7.

Вернуться

383

William Goldman, Adventures in the Screen Trade (New York: Warner, 1983).

Вернуться

384

Sameet Sreenivasan, Quantitative analysis of the evolution of novelty in cinema through crowdsourced keywords, Scientific Reports 3, article no. 2758, 2013, updated 29 Jan. 2014, DOI: https://doi.org/10.1038/srep02758, https://nature.com/articles/srep02758.

Вернуться

385

Márton Mestyán, Taha Yasseri and János Kertész, Early prediction of movie box office success based on Wikipedia activity big data, PLoS ONE, 21 Aug. 2013, DOI: https://doi.org/10.1371/journal.pone.0071226.

Вернуться

386

Ramesh Sharda and Dursun Delen, Predicting box-office success of motion pictures with neural networks, Expert Systems with Applications, vol. 30, no. 2, 2006, pp. 243–244, DOI: https://doi.org/10.1016/j.eswa.2005.07.018; https://sciencedirect.com/science/article/pii/S0957417405001399.

Вернуться

387

Banksy NY, ‘Banksy sells work for $ 60 in Central Park, New York – video’, Guar-dian, 14 Oct. 2013, https://theguardian.com/artanddesign/video/2013/oct/14/banksy-central-park-new-york-video.

Вернуться

388

Bonhams, Lot 12 Banksy: Kids on Guns, 2 July 2014, http://bonhams.com/auctions/21829/lot/12/.

Вернуться

389

Charlie Brooker, Supposing… subversive genius Banksy is actually rubbish, Guardian, 22 Sept. 2006, https://theguardian.com/commentisfree/2006/sep/22/arts.visualarts.

Вернуться

390

Gene Weingarten, Pearls before breakfast: can one of the nation’s greatest musicians cut through the fog of a DC rush hour? Let’s find out, Washington Post, 8 April 2007, https://washingtonpost.com/lifestyle/magazine/pearls-before-breakfast-can-one-of-the-nations-great-musicians-cut-through-the-fog-of-a-dc-rush-hour-lets-find-out/2014/09/23/8a6d46da-4331–11e4-b47c-f5889e061e5f_story.html?utm_term=.a8c9b9922208.

Вернуться

391

Из личной беседы с Арманом Леруа. Он ссылается на статью: Matthias Mauch, Robert M. MacCallum, Mark Levy and Armand M. Leroi, The evolution of popular music: USA 1960–2010, Royal Society Open Science, 6 May 2015, DOI: https://doi.org/10.1098/rsos.150081.

Вернуться

392

Авторство изречения спорно. Пикассо его приписал Стив Джобс в 1988 г. (Прим. ред.)

Вернуться

393

Из личной беседы с Дэвидом Коупом.

Вернуться

394

Цитата приводится в сокращении. См. Douglas Hofstadter, Gödel, Escher, Bach: An Eternal Golden Braid (London: Penguin, 1979), p. 673. Русский перевод: Хофштадтер Д. Р. Гёдель, Эшер, Бах: Эта бесконечная гирлянда / Пер. с англ. М. Эскиной. Самара: Бахрах-М, 2001.

Вернуться

395

EMI (Experiments in Musical Intelligence) – “Эксперименты с музыкальным интеллектом”. (Прим. перев.).

Вернуться

396

Настоятельно рекомендую вам послушать музыку Коупа в интернете. Мне больше всего нравится оркестровая композиция в духе Вивальди: https://www.youtube.com/watch?v=2kuY3BrmTfQ.

Вернуться

397

Можете попробовать “сочинить” текст в своем стиле с помощью предиктивного ввода. Чтобы загрузить алгоритм, начните писать новое сообщение с нескольких слов, например, “Я родился/родилась”. Далее просто выбирайте слова, которые появляются на экране. Вот что получилось у меня (пример из жизни). Начала за здравие, кончила за упокой: “Я родилась чтобы стать хорошим человеком и я буду рада быть с тобой многие из тех кого я знаю что ты не получаешь мои письма и у меня нет на это времени”.

Вернуться

398

Кроме того, Коуп счел необходимым в процессе работы программы записывать последовательность цифр для других параметров. Например, продолжительность фразы и пьесы, характерные для музыки в стиле Баха.

Вернуться

399

Benjamin Griffin and Harriet Elinor Smith, eds, Autobiography of Mark Twain, vol. 3 (Oakland, CA, and London, 2015), part 1, p. 103.

Вернуться

400

Толстой Л. Н. Что такое искусство? // Толстой Л. Н. Собрание сочинений в 22 томах, Т. 15, М.: “Художественная литература”, 1983. С. 142.

Вернуться

401

Hofstadter, Gödel, Escher, Bach, p. 674.

Вернуться

402

Историю Рахины Ибрагим можно найти по ссылкам: https://propublica.org/article/fbi-checked-wrong-box-rahinah-ibrahim-terrorism-watch-list; https://alumni.stanford.edu/get/page/magazine/article/?article_id=66231.

Вернуться

403

С гендиректором одной такой компании мне довелось побеседовать. Я спросила его, проводилась ли проверка их программы на предмет соответствия заявленным преимуществам, и он поведал мне длинную историю о том, как в результате выполненного их нейросетью анализа одна голливудская знаменитость вылетела из кинофраншизы. В ответ на мое замечание, что это, очевидно, говорит не об эффективности алгоритма, а о людской доверчивости, он сказал: “Ну, теоретической наукой мы не занимаемся”.

Вернуться

404

Есть одна уловка, которая помогает обнаружить бесполезные алгоритмы. Я назвала бы ее “тестом на волшебство”. Когда вам попадется описание алгоритма, попробуйте подставить вместо всяких умных терминов вроде “машинное обучение”, “искусственный интеллект” и “нейросеть” слово “волшебство”. Насколько разумно выглядит фраза? Не потеряла ли она всякий смысл? Если так, то я бы задумалась, не смахивает ли все это на очковтирательство. Боюсь, в обозримом – и даже достаточно отдаленном – будущем у нас не больше шансов “искоренить голод во всем мире благодаря волшебству” или “написать гениальный сценарий с помощью волшебства”, чем с помощью искусственного интеллекта.

Вернуться