Do Rzeczy (Польша): наша жизнь в руках робота Кальдера?

В блестящем рассказе о пилоте Пирксе «Дознание» герой нескольких книг Лема получает предложение совершить полет на корабле «Голиаф» с Земли к кольцам Сатурна, чтобы разместить там искусственные спутники. Пирксу поручают тайную миссию, заключающуюся в том, чтобы высказать свое мнение об экипаже нового типа: в ее состав входят «нелинейники», то есть роботы, которые должны, по задумке, оказаться более совершенными и надежными, чем человек. Если они пройдут испытание успешно, ими смогут заменять людей на космических кораблях. Подвох в том, что Пиркс не знает, кто из шести членов его команды «нелинейник». Он пытается разобраться в этом во время рейса, но задача оказывается сложной. Один из роботов делает признание сам, а второй демонстрирует, кто он на самом деле, в драматических обстоятельствах. Во время обернувшегося неожиданными проблемами прохода через щель Кассини, находясь в кресле второго пилота, он пытается провести маневр, который мог бы убить всех находящихся на борту людей. Если бы «нелинейнику» Кальдеру удалось осуществить задуманное, он смог бы, пожертвовав командой, вернутся на Землю и доказать свою пригодность. Фантастика? Уже не совсем. Можно сказать, что Кальдер был чем-то вроде автоматического пилота, самостоятельно принимающего решения, а именно разработкой такого устройства (разумеется, не в человекоподобной форме) в последние годы интенсивно занимаются автомобильные концерны, устанавливая на свои машины его более и менее комплексные модификации. Самый известный производитель автомобилей, оснащенных относительно продвинутой системой автоматического управления, это «Тесла». Многие считают ее, скорее, не успешной рыночной компанией, а продуктом умелого пиара Илона Маска (Elon Musk), превращенным своим создателем в икону современного транспорта. Можно ли доверять технологии? Действительно, автомобили Тесла в определенных условиях способны двигаться самостоятельно, пользуясь для этого многочисленными датчиками и спутниковой системой навигации. В интернете можно найти десятки роликов, на которых расслабленные водители сидят на заднем сидении, а автомобиль без их участия преодолевает километр за километром. Однако Тесла, находящаяся в режиме автопилота, уже попадала в аварии, в том числе со смертельными жертвами. Первая (ставшая одновременно первым ДТП со смертельным исходом, участником которого оказался самоуправляемый автомобиль) произошла во Флориде в 2016 году. 40-летний водитель двигался по шоссе № 27, когда ехавший ему навстречу грузовик начал сворачивать влево и перекрыл его полосу. Тесла не заметила этого факта и на полной скорости врезалась в прицеп, после чего продолжила движение, протаранив ограждение и столб. Водитель погиб на месте. Расследование показало, что система автопилота не заметила двигавшийся наперерез Тесле белый прицеп на фоне светлого неба. Когда в этом году (тоже во Флориде) произошла похожая авария, возникло чувство дежавю. 50-летний водитель включил автопилот за 10 секунд до столкновения: его автомобиль на скорости 110 километров в час врезался в прицеп грузовика практически так же, как это произошло три года назад. Как и в других случаях такого рода расследованием занимался Национальный совет по безопасности на транспорте. После оглашения предварительных выводов акции компании Маска потеряли более 4% стоимости. Вновь начались разговоры о том, насколько надежна система автопилота Теслы. Здесь мы подходим к сути проблемы: это переплетение иллюзорных надежд на «стопроцентную безопасность» и технологические возможности с вопросами об ответственности, а также взаимоотношениях между становящимися все более самостоятельными технологиями и человеком, о которых писал Лем. «Автопилот» Теслы вопреки своему громкому названию представлен в инструкции лишь как требующая постоянного внимания водителя вспомогательная система, а не как устройство для автономного управления. По поводу возможностей подобных систем и их надежности возникают сомнения, однако, в ближайшем будущем они войдут в набор обязательного оснащения продаваемых в Европе автомобилей. Они призваны помочь тормозить перед препятствиями, распознавать их и (что вызывает самые сильные возражения) не позволять водителю превышать разрешенную скорость дольше, чем в течение нескольких секунд. Фантазии и реальность Некоторые компании уже начали устанавливать в своих автомобилях такие системы, однако их работа вызывает серьезные нарекания. Например, система распознавания дорожных знаков плохо работает в условиях низкой видимости, в свою очередь, показания GPS-навигатора бывают неточными или не учитывают временных ограничений движения и изменений на дорогах. В ключевой момент техника может перекрыть нам подачу топлива и спровоцировать аварию. По польским дорогам ездит уже много автомобилей, оснащенных технологиями, которые теоретически повышают нашу безопасность. Один мой знакомый, в японской машине которого есть система экстренного торможения перед препятствиями, рассказывал мне, как однажды он довольно медленно ехал по узкой извилистой загородной дороге. Внезапно из-за поворота появилась другая машина, движущаяся навстречу. Система по неизвестным причинам решила, что она идет на лобовое столкновение, и включила торможение. Автомобиль резко остановился. К счастью, за моим знакомым никто не ехал, иначе наверняка произошла бы авария. Одновременно он признался, что та же самая система несколько раз спасала его от столкновения. С 2022 года такие устройства должны стать в Европе обязательными. Сложно предположить, что к этому времени их доведут до совершенства, кроме того, ясно, что производители переложат все расходы на клиентов. При этом, чтобы не напугать их резким ростом цен, они будут экономить, то есть устанавливать самые простые, а, значит, несовершенные системы. Вскоре может оказаться, что те будут не спасать жизни, а совсем наоборот. Люди, скептически относящиеся к технологиям, предлагают следующую классическую дилемму. В автомобиле едет водитель со своей семьей, движущаяся навстречу машина вылетает на его полосу. Перед водителем стоит выбор: допустить лобовое столкновение или избежать его, то есть съехать на обочину, по которой идет женщина с детьми, или свернуть в другую сторону и врезаться в дерево. В первом случае он наверняка убьет себя, свою семью и водителя другой машины. Во втором — женщину с детьми. В третьем — выживут все, кроме него самого и его близких. На принятие решения есть всего доли секунды, но в любом случае оно будет на совести человека которому, возможно, потом, если он выживет, придется за него отвечать. Tesla Model X 90DНо что сделает система автоматического управления? Хотим ли мы, чтобы в такой ситуации решение о гибели нас самих или кого-то еще принимал компьютер, запрограммированный кем-то неизвестным? А если потом окажется, что человек увидел бы возможность спастись там, где ее не обнаружила компьютерная система? А если второй машиной тоже управлял автопилот и она выехала на встречную полосу из-за его ошибки? Если вспомнить еще об «обучающемся» искусственном интеллекте (в него загружают не конкретные ситуации, а лишь определенные принципы), можно увидеть, с каким масштабом неопределенности и каким количеством вопросов этического свойства мы столкнемся. Возложить на кого-либо вину (даже на автора компьютерного кода) в случае ошибки системы будет очень сложно. «Вариант ноль» Можно сказать, что все это чисто теоретические вопросы, однако, жизнь бывает удивительно сложной и многоплановой. Нельзя просто отмахнуться от этих вопросов, назвав их несущественными. Готовы ли мы смириться с тем, что за ошибки компьютера в автономных автомобилях никто не отвечает, что из-за написанной неизвестно кем строчки кода могут погибнуть наши близкие? Как провести границу между тем, что лишь помогает, не заменяя человека, и тем, что может перехватить инициативу, как второй пилот Кальдер из рассказа Лема? За увлечением автономным транспортом кроется опасная по своей сути мечта об абсолютной безопасности, «варианте ноль», при котором никто не будет погибать в авариях на дороге. По каким-то причинам сторонники такого подхода не хотят извлекать выводы из истории авиации. В самолетах используются гораздо более сложные и совершенные технологии, чем те, которые предназначены для автомобилей, однако, авиакатастрофы продолжают происходить. Более того, порой их причиной становятся именно механизмы. Достаточно вспомнить о катастрофах самолетов Боинг 737 MAX, к которым, по всей видимости, привела неисправная работа системы, призванной предотвращать «сваливание» самолета. То, что должно было спасти людей, в итоге стало смертельной ловушкой. Представление, что аварии, в том числе на дорогах, можно предотвратить при помощи датчиков и алгоритмов, опасно по двум причинам. Во-первых, оно порождает зависимость от технологий и одновременно размывает ответственность. Между тем именно ответственность за свои действия — это один из основных механизмов функционирования общества. Во-вторых, люди разучатся справляться с риском, как дети чрезмерно заботливых родителей, надевающих на своих чад, когда те учатся ходить, специальные шлемы. Сторонникам технологического безумия, желающим осчастливить человечество, я бы настойчиво посоветовал почитать Лема.