Проблема вагонетки что это такое
«Проблема вагонетки»: стоит ли принимать ее всерьез?
Кому из нас не знакома «проблема вагонетки»? Та, где предлагается сбросить с моста бедного тучного человека на рельсы, чтобы он перекрыл дорогу надвигающемуся вагону, и спасти тем самым 5 незадачливых работников, оказавшихся на путях. Но что наш выбор — «сбросить или нет?» — говорит о нас? И может ли вообще столь искусственная ситуация что-либо рассказать о человеческой морали? Собрав самые противоречивые материалы исследований по вопросу, об этом на страницах Nautil.us поразмышлял Мэттью Седакка. Присоединимся к нему.
В 1960-е годы философ Филиппа Фут, занимающаяся вопросами морали, придумала мысленный эксперимент, который стал революционным в этой области. Эта этическая головоломка, известная сегодня как «проблема вагонетки» (trolley problem), стала настолько влиятельной не только в философии, но и в области неврологии, поведенческой экономики, эволюционной психологии и в мем-культуре, что возник даже неологизм «вагонеткология» (trolleyology). Такое количество комментариев, писал один философ, «заставляет Талмуд выглядеть пособием для чайников».
Большинство отказывается делать выбор, несмотря на то что, пожертвовав полным человеком, в конечном счете можно спасти пятерых. С другой стороны, переключение путей ради спасения жизней пяти человек, кажется морально оправданным, даже если один человек всё же умирает. Почему у нас разные моральные ответы на эти, казалось бы численно равнозначные сценарии? Этим вопросом озадачены многие исследователи, занимающиеся этикой и психологией морали. Например, Джесси Принз, специалист, занимающийся философией психологии в Городском университете Нью-Йорка, уверен, что нравственный долг может измеряться эмпирически (2). Другие считают, что такой эксперимент способен прояснить тонкости, касающиеся нашей моральной интуиции; и, возможно, помещая исследуемых в аппарат МРТ, когда они рассуждают об этой дилемме, удастся также выяснить, каким образом мы размышляем о дилемме в её различных вариантах. Но что, если эта дилемма является слишком упрощенной, чтобы быть полезной?
Читайте также Моральные ценности как иллюзия: почему наши этические взгляды меняются, когда мы разговариваем на иностранном языке
Вот что Кристофер Бауман, социальный психолог из Университета Калифорнии в Ирвине, предложил вместе с некоторыми коллегами в 2014 году (3). Они были «обеспокоены» этими дилеммами по трем причинам: во-первых, «они забавят, а не отрезвляют»; во-вторых, «они являются нереалистичными и не представляют моральные ситуации, с которыми люди сталкиваются в реальном мире»; и третье — «они не помогают установить лежащие в их основе психологические процессы, как другие нравственные ситуации». Авторы продолжают:
Люди часто насмехаются над тем, что тело толстяка действительно может остановить поезд, спрашивают, неужели на самом деле нет места для рабочих рядом с путями, чтобы отойти, и сомневаются, что кто-то действительно может оценить все важные аспекты ситуации и быть уверенным относительно времени, когда нужно действовать.
В то время как большинство людей не беспокоили присутствующие в дилемме допущения (вам даются условия как сами собой разумеющиеся: например, что, если вы столкнете толстого человека, то он может остановить поезд), некоторых из испытуемых это не убеждало. Так, в работе 2009 года по проблеме вагонетки авторы отмечают, что около 5 процентов респондентов одного исследования и 12 процентов другого обвели ответ: «Описания предыдущих страниц показались мне нереалистичными, и мои ответы отражают мою неспособность серьезно отнестись к описанию, которое было дано» (4).
Углубляемся Моральная удача: как обстоятельства влияют на наши этические оценки
Это объяснение совпадет с результатами исследования 1992 года под названием «The disjunction effect in choice under uncertainty» (6). Это исследование показало, что «неопределенность результатов приводит к менее консеквенциалистским ⓘ Консеквенциализм (от консеквент, лат. consequens — «следствие, вывод, результат») — группа моральных теорий, где критерием нравственной оценки является результат (консеквент) поведения. решениям в неморальных сценариях принятия решений». Кортенкамп и Мур отмечают:
«Эти данные свидетельствуют о том, что при исследовании моральных суждений и рассуждений, касающихся неопределенных ситуаций, факт неопределенности должен быть учтён».
Может быть, просто настало время притормозить с рассмотрением моральных дилемм, таких как проблема вагонетки, со встроенными в них четкими последствиями и принять во внимание более неопределенные ситуации — реальная жизнь полна ими.
Ссылки на исследования
1. Judith Jarvis Thomson, Killing, letting die, and the trolley problem. The Monist/Vol. 59, No. 2, Philosophical Problems of Death (APRIL, 1976), pp. 204-217.
2. Jesse Prinz. Can Moral Obligations Be Empirically Discovered?/Midwest Studies in Philosophy 31(1):271 — 291 · September 2007. DOI: 10.1111/j.1475-4975.2007.00148.x
3. Christopher W. Bauman, A. Peter McGraw, Daniel M. Bartels, Caleb Warren. Revisiting External Validity: Concerns About Trolley Problems and Other Sacrificial Dilemmas in Moral Psychology. Social & Personality Psychology Compass, Forthcoming/Mays Business School Research Paper No. 2015-12.
5. KATHERINE V. KORTENK AMP and COLLEEN F. MOORE. Ethics Under Uncertainty: The Morality and Appropriateness of Utilitarianism When Outcomes Are Uncertain. The American Journal of Psychology/Vol. 127, No. 3 (Fall 2014), pp. 367-382.
Источник: It’s Time to Retire the “Trolley Problem” / Nautil.us
Если вы нашли ошибку, пожалуйста, выделите фрагмент текста и нажмите Ctrl+Enter.
Проблема вагонетки
Проблема вагонетки — мысленный эксперимент в этике, впервые сформулированный английским философом Филиппой Фут. Находясь вне рамок стандартных философских вопросов, проблема вагонетки играет большую роль в когнитивистике и нейроэтике.
Содержание
Оригинальная формулировка
Тяжёлая неуправляемая вагонетка несётся по рельсам. На пути её следования находятся пять человек, привязанные к рельсам сумасшедшим философом. К счастью, вы можете переключить стрелку и тогда вагонетка поедет по другому, запасному пути. К несчастью, на запасном пути находится один человек, также привязанный к рельсам. Каковы ваши действия?
Концепция утилитаризма предписывает в обязательном порядке переключить стрелку. Согласно этой концепции, переключение стрелки является не единственным допустимым действием, но, с точки зрения морали, лучшим действием (другая возможность — не делать ничего).
Похожие проблемы
«Толстый человек»
Похожая проблема была предложена философом Д. Д. Томсон.
Как и прежде, вагонетка несётся по рельсам, к которым привязаны пять человек. Вы находитесь на мосту, который проходит над рельсами. У вас есть возможность остановить вагонетку, бросив на пути что-нибудь тяжёлое. Рядом с вами находится толстый человек, и единственная возможность остановить вагонетку — столкнуть его с моста на пути. Каковы ваши действия?
Стоит отметить, что для значительной части людей активное участие в этой ситуации выглядит практически невозможным. Большая часть тех, кто переключил бы стрелку в первой ситуации, не стали бы толкать человека под вагонетку во второй. Эта особенность явилась предпосылкой для более глубокого исследования различия этих двух ситуаций.
Стоит отметить, что подобное решение является следствием доктрины двойного эффекта, которая гласит, что в случае необходимости можно совершать действия, которые имеют негативные побочные эффекты, но умышленное проявление агрессии (даже для достижения положительных результатов) является неправильным.
«Толстый злодей»
Дальнейшее развитие этого примера включает в себя ситуацию, когда толстый человек оказывается злодеем, который и поставил пятерых людей в опасную ситуацию (привязал их к рельсам). В этом случае выталкивание толстого человека на рельсы выглядит не только выигрышным с моральной точки зрения, но и обязательным для выполнения.
«Ответвление»
Как и прежде, вагонетка несётся по рельсам, к которым привязаны пять человек. Как и в первом случае, вы можете перевести её на запасной путь. К рельсам запасного пути привязан один толстый человек. Однако, после человека запасной путь делает петлю и снова возвращается на главный путь, перед тем местом, где привязаны пятеро. Таким образом, если бы на запасном пути не было бы толстого человека, который может остановить вагонетку, переключение стрелки не спасло бы пятерых. Каковы ваши действия?
«Человек на лужайке»
Эта формулировка принадлежит Питеру Анжеру.
Как и прежде, вагонетка несётся по рельсам. Вы можете убрать её с путей путём столкновения с другой вагонеткой. При этом обе вагонетки сойдут с путей и упадут с насыпи, попав на лужайку, где в гамаке спит человек. Человек при этом будет убит. Каковы ваши действия?
Ответы в этой ситуации частично зависят от того, знаком ли отвечающий с оригинальной проблемой вагонетки. Анжер в своих исследованиях заметил, что люди, которые не сталкивались с таким выбором раньше, чаще говорят, что предлагаемое действие (столкновение с другой вагонеткой) является неправильным.
Анжер поэтому замечает, что различные ответы на эту проблему базируются больше на психологии, нежели на этике — в этой новой формулировке единственное отличие от оригиналых постановок состоит в том, что человек на лужайке не вовлечён полностью в ситуацию. Таким образом, люди думают, что убийство человека на лужайке — «нечестная игра». При этом Анжер отмечает, что отсутствие вовлечённости в ситуацию никак не затрагивает её моральные аспекты.
«Донор»
Альтернативная формулировка, не использующая вагонетку, выглядит так.
У высококлассного хирурга есть 5 пациентов, каждому из которых необходима пересадка органа (разного для всех пятерых). Каждый пациент умрёт, если не получит этот орган. К сожалению, в больнице и окрестностях нет необходимых органов. В больницу для обычного рутинного осмотра приходит молодой здоровый посетитель. Осматривая его, хирург обнаруживает, что органы молодого человека полностью совместимы с организмами 5 его пациентов. Предположим, что в случае бесследного исчезновения посетителя никто не будет его искать и не заподозрит доктора в убийстве. Что должен сделать доктор?
Проблема с точки зрения когнитивистики
Проблема вагонетки впервые была исследована с позиции когнитивной науки Дж. Михаэлем. Он предположил, что ответы людей практически не будут зависеть от их пола, возраста, культурного уровня и образования, так как их решения основываются на неосознаваемой «моральной грамматике», которая, в некоторых смыслах, аналогична столь же неосознаваемой универсальной грамматике, лежащей в основе обычного языка.
Предварительные результаты подтвердили это наблюдение, и впоследствии исследования Михаэля были обобщены на 200 000 человек из более чем 100 различных стран.
Проблема с точки зрения нейроэтики
В целях изучения этой проблемы с точки зрения нейроэтики, Д. Грин и Дж. Коэн использовали методы ФМРТ (функциональная магнитно-резонансная томография). В их экспериментах анализировались ответы людей на вопросы, сформулированные в оригинальной формулировке и формулировке с «толстым человеком». Гипотеза учёных состояла в том, что решение этих проблем вызовет как эмоциональную, так и когнитивную реакцию, при этом возникнет их конфликт. Результаты исследования показали следующее: в ситуациях, которые вызывают яркий эмоциональный отклик («толстый человек») наблюдается значительная активность в тех частях мозга, которые ассоциированы с разрешением конфликта. В то же время, в более нейтральных ситуациях (например, оригинальная проблема вагонетки) наблюдается активность в области мозга, отвечающей за высшие когнитивные функции. Таким образом, потенциальные этические идеи в данной ситуации вращаются вокруг способности человека принимать рациональные решения морального свойства.
Ультимативная моральная дилемма и проблема вагонетки: что мы выбираем?
Можно ли пожертвовать одним человеком ради спасения других? Ответ на этот этический вопрос совсем не прост.
Классическая ультимативная дилемма, которую еще называют проблемой вагонетки: движущийся поезд (вагонетка) грозит пяти людям, привязанным к рельсам. Они могут избежать смерти, если переключить рычаг. Тогда поезд перейдет на другую колею и убьет только одного человека. Пожертвовали бы вы одним, чтобы спасти пятерых (дилемма Switch)? А если вагонетку можно задержать, лишь сбросив другого человека с моста на рельсы, каким будет ваше решение (дилемма Footbridge)? А если поезд перенаправить на дополнительную петлю, где он убьет только одного рабочего, чье тело затормозит поезд, прежде чем тот убьет пятерых (дилемма Loop)?
Эти сценарии кажутся надуманными только на первый взгляд. Но в сфере автономного транспорта это уже почти реальность, очень даже актуальная. Например, когда вы покупаете себе модный электромобиль Tesla, оборудованный автопилотом. Искусственный интеллект, управляющий вашей машиной, должен будет принимать именно такие решения. Защитить водителя или спасти ребенка, внезапно выбежавшего на дорогу? Или пожертвовать им, если взамен удастся спасти нескольких пешеходов? Какое количество пешеходов означает «несколько», чтобы принять именно такое решение?
Исследования показали, что даже люди на эти вопросы не могуть дать однозначный ответ. Обычно при классическом сценарии с вагонеткой большинство считает допустимым перевести рычаг, пожертвовав одним ради спасения пяти человек. Гораздо больше колеблются относительно второго сценария: не так много участников готовы сами перейти к активным действиям и толкнуть человека с моста, даже для того, чтобы спасти остальных. Такая закономерность просматривается везде.
Кроме того, готовность принять то или иное решение зависит от культурных факторов, а также от языка, на котором осуществляют тест. В каждой культуре есть правила относительно того, что правильно или неправильно. Поэтому трудно найти моральные универсалии.
Насколько существенны здесь культурные различия? Важна ли национальность? Чтобы это выяснить, Эдмонд Эвад (Edmond Awad) из Массачусетского технологического института и его коллеги провели масштабное исследовании данной моральной дилеммы. Это было сделано с помощью интерактивных онлайн-сценариев. Задействовали 70000 онлайн-испытуемых из 42 стран и с 10 языковых регионов — то есть анализировали их поведение в двух классических сценариях и в третьем, связанном с первыми двумя.
Реакция в странах Азии выглядела иначе: в Китае, например, нажать рычаг согласилось 58% опрошенных. А сбросить человека с моста — 32%. Вопреки ожиданиям, это подтверждается не во всех азиатских странах: во Вьетнаме, Индии и Сингапуре показатели приближаются к европейским, зато в Китае, Тайване и Японии они значительно ниже.
Чем можно объяснить такое отличие? Ученые предполагают, что реакция на моральную дилемму сильно зависит от так называемой мобильности отношений. Это понятие обозначает, как часто в процессе своей жизни люди вступают в новые отношения — романтические и дружеские — и как легко это происходит за пределами традиционных социальных групп, в том числе семьи и профессионального круга. Мобильность отношений в западных странах выше, а в Китае и Японии — значительно ниже.
«Пока рано утверждать, что существует четкая причинная связь между моральными решениями и легкостью, с которой люди вступают в новые отношения, — сказал Раван. — Однако у нас теперь есть больше свидетельств, что тип личного поведения, которую культивируют в определенной культуре, может влиять на моральную интуицию человека».
Исследование было опубликовано в PNAS в январе 2020 года:
До мышей
Проблема вагонетки на практике
Одна из главных задач философии и психологии морали называется «Проблема вагонетки». Формулируется она так: «Тяжёлая неуправляемая вагонетка несётся по рельсам. На пути её следования находятся пять человек, привязанные к рельсам. К счастью, вы можете переключить стрелку — и тогда вагонетка поедет по другому, запасному пути. К несчастью, на запасном пути находится один человек, также привязанный к рельсам. Каковы ваши действия?»
С помощью этой задачи можно отличить сторонников утилитаризма (моральной философии, которая считает, что морально то, что приносит наибольшее количество счастья наибольшему количеству людей, и что ради счастья большинства можно пожертвовать счастьем, а то и жизнью, отдельных людей), от сторонников деонтологии (моральной философии, которая считает, что мораль — это следование высшим нравственным принципам, независимо от последствий, к которым это приводит, то есть «делай, что должен, и будь, что будет»).
Утилитарист переключит стрелку, чтобы спасти пять человек ценой жизни одного. Деонтолог не станет этого делать, так как переключение стрелки будет сознательным убийством невинного человека.
Кроме чисто теоретического аспекта, задача имеет и практический — от её решения зависит, как программировать поведение беспилотных автомобилей в случае возможной аварии.
Проблема вагонетки известна уже более стал лет, и всё это время психологи изучают её на разных группах населения. Но до сих пор все эксперименты были чисто умозрительными — у испытуемых просто спрашивали, как они поступили бы в данной ситуации. И вот теперь, впервые в истории, ученые из университета Гента провели практический эксперимент.
Нет, никаких людей вагонеткой не давили. Сначала испытуемым, как и во время предыдущих исследований, задавали вопросы о том, как они поступили бы в теоретической ситуации с вагонеткой и другими подобными проблемами, где жертвами являются люди. Потом им задавали вопрос, как они действовали бы в следующей ситуации:
После того, как участники отвечали на теоретические вопросы, их действительно отводили в лабораторию, описанную в предыдущем абзаце, где находились две клетки с мышами, подключенные к генератору, и запускали таймер.
На самом деле никаким током мышей не били — всё это было постановкой. Выяснилось, что хотя в теории принципами (а не утилитарными соображениями) руководствовалась примерно треть испытуемых (34% ответили, что не стали бы нажимать кнопку), на деле таких оказалось в два с лишним раза меньше — всего 16% участников эксперимента не стали нажимать кнопку в реальной ситуации, чтобы электрический разряд получила одна мышь вместо пяти. 84% эту кнопку нажали.
Кроме того оказалось, что теоретические ответы оказались никак не связаны с практическими действиями — ученые не нашли значимой корреляции между ответами участников эксперимента о том, как они поступили бы в теоретической ситуации с мышиными клетками, и их действиями в ситуации с реальными мышами.
Этот, последний, пункт кажется мне самым интересным и по-моему требует дальнейших исследований. Такой результат может объясняться тем, что на теоретические вопросы отвечает каннемановская Система 2 (т.е. сознание), а реальные решения в ситуации стресса и ограниченного времени принимает каннемановская Система 1 (т.е. подсознание), и у этих двух систем могут быть разные взгляды на мораль. Но всё-таки сложно так сразу поверить, что реальные действия людей никак не связаны с декларируемыми им принципами и убеждениями, по крайней мере статистически.
Интересно ещё и то, насколько эксперимент с мышами можно считать реальной версией эксперимента с вагонеткой и насколько эти результаты показательны. Я вижу тут три проблемы.
Во-первых, 16 участников из 208 отказались участвовать в реальном эксперименте до или во время его проведения. С моей точки зрения это должно рассматриваться так же, как отказ нажимать кнопку — эти шестнадцать человек тоже не захотели “изображать Бога” и решать судьбы мышей. Поэтому я бы с осторожностью, но предположил, что деонтологов в реальном эксперименте было не 16%, а 22%. В статье, кстати, не раскрывается, как отвечали люди, отказавшиеся участвовать в практическом эксперименте, на теоретические вопросы. Возможно, если бы их действия учитывались как отказ нажать кнопку, это могло бы повлиять на корреляцию (а, возможно, нет — из статьи этого понять нельзя).
Во-вторых, мыши не люди, а к действиям в отношении животным мы всё же применяем не те же самые критерии, что и к действиям в отношении людей. Тем более в отношении мышей, к которым большинство из нас не испытывает никакой эмпатии. Все мыши для нас одинаковые, все люди разные. Понятно, что сейчас не времена Мильграма, и за подобный эксперимент на людях (даже без реальных ударов током) экспериментатора, скорее всего, четвертуют, но мне кажется, что подобный эксперимент было бы логичнее проводить, показывая участникам собак или обезьянок.
UPD Спасибо Алексею Медведеву в ФБ за информацию о том, что подобный эксперимент на людях всё же был проведён, хоть и не учеными, а развлекательным видеошоу, и на очень небольшой выборке — всего 7 человек. Из семи стрелку переключили только двое. Подробности смотрите сами на видео ниже.
Кстати, интересная вариация проблемы вагонетки — когда она приближается к развилке, оператору в рамках стандартной процедуры (когда на путях никого нет) нужно переключить стрелку, чтобы вагонетка свернула на второй путь (где сейчас находится один человек) с первого (где сейчас находится пятеро), потому что в вагонетке находится груз, который там ждут.
Мораль роботизированного транспорта: проблема вагонетки, риски и последствия
Моральная сторона разработки роботизированного транспорта очень сложна. Разработчики твердо верят, что испытания нужно проводить на публичных дорогах, хотя они знают, что это подвергнет небольшому риску ни о чем не подозревающих участников движения. Автомобили, выпущенные после тестов, безусловно, будут попадать в аварии (в том числе с летальным исходом), и такое положение дел представляет собой пугающую и обескураживающую перспективу. В то же время успех сулит нам колоссальные улучшения дорожной безопасности и спасение жизней огромного числа людей, которые погибли бы, если бы не существовала возможность заменить более опасное человеческое вождение на поездку на беспилотном автомобиле.
Мы рассмотрим такие аспекты как:
Тот факт, что недавно в Темпе, штат Аризона был раскрыт случай аварии со смертельным исходом с участием автомобиля компании Uber только увеличивает необходимость понимания данной проблемы. Было написано много текстов и высказано множество мнений о том, как необходимо рассуждать о рисках и принципах морали в беспилотных автомобилях. В этой статье я надеюсь представить как чистый взгляд на эту проблему, так и руководство к рассуждению о ней.
Большинство аварий — это одиночные машины, и их можно предотвратить. И все же мы смирились с этим ужасным риском, не задумываясь.
Оказывается, что сочетание уроков, которые нам дает проблема вагонетки (именно с вагонетки, а не беспилотного автомобиля) и измерения действий, приводящих к рискам вместо трагедий, может помочь нам сформировать лучшее понимание и правовой режим для решения сложных вопросов о роботах, которые могут и спасать человеческие жизни, и угрожать им. Мы можем спасти миллионы жизней, если мы будем готовы принять те же риски, что и при обучении подростков перед тем, как они начнут водить (вместо подростков можете представить спешащих доставщиков пиццы). Почти все, кто работает над роботами, хотят, чтобы они спасали жизни, и чтобы они начали это делать как можно скорее, но для этого общественность должна понять и даже принять методики работы в этой сфере. Чтобы сделать это, мы должны понимать как наши моральные инстинкты и нашу внутреннюю математику, так и разницу между риском и трагедией.
Я осознал сложности в понимании этих проблем год назад, когда разговаривал дома за обедом со своим другом. Друг был весьма обеспокоен рисками, которые содержали в себе ранние прототипы. Я спросил его – была бы разумной ситуация, в которой при тестировании погибают 100 человек, но при использовании конечного продукта будут спасены миллионы жизней? Ему казалось очевидным, что это неправильно, и он не одинок в этом мнении.
Человеческая мораль сложна и хитра, и она может работать по-разному в зависимости от ситуации. Немногие из нас кристально чисты в своей принципиальности, и те принципы, которые мы используем в своих субъективных решениях могут отличаться от тех, который используются в коллективных решениях в обществе или в суде. Чтобы понять эту проблему и то, как прийти к лучшему решению, нам необходимо понять то, как люди рассуждают о подобной морали, и, возможно, изменить это мышление для того, чтобы добиться результата, который будет лучше по мнению большинства.
Ответ может заключаться в том, что, хотя мы не согласны с тем, что великие цели могут оправдать аморальные средства, оказывается, что мы готовы охотно признать, что даже скромные выгодные цели могут оправдывать средства с небольшими аморальными рисками.
Типы морали
Грубо говоря, философы выделяют два широких класса моральных систем. Первый требует кодекса правил и принципов, и определяет ошибку как нарушение этих самых правил и принципов вне зависимости от результата. Сложное название таких систем – «деонтологические», но мы будем называть их основанными на правилах. С другой стороны мы имеем системы, основанные на результатах, которые измеряют правильное и неправильное тем, что мы получаем в конечном итоге. Они также известны как консеквенциалистские. Одним конкретным подмножеством таких систем является утилитарная, следующая правилу добиваться наибольшего блага для наибольшего числа людей, либо же наносить наименьший вред наименьшему числу людей.
Иногда мы любим утилитарные моральные системы, особенно как общество в целом. Однако как личности, мы склонны не доверять им, поскольку они связаны с опасной идеей о том, что «цель оправдывает средства», а эта идея приводила к большому количеству моральных ужасов на протяжении всей истории. Большинство из нас не принадлежат строго к одной из школ. Как отмечалось ранее, наш подход меняется в зависимости от того, считаем мы себя отдельной личностью или обществом в целом, и мы меняем наш подход к рассуждениями исходя из наших личных взглядов сильнее, чем нам хотелось бы признать.
Чистый приверженец утилитарного подхода легко согласится на то, что машины погубят 100 человек для спасения миллиона – в случае утилитарной морали здесь даже не стоит вопроса. В то же время, многим будет нелегко это принять. Я подозреваю, что ответ заключается в том, чтобы понять, как мы, как отдельные лица, уделяем особое внимание инцидентам и трагедиям, в то время как в роли общества мы уделяем внимание оценке рисков и общественным благам.
Однако у оригинальной проблемы вагонетки была реальная функция, которая может быть полезна в данной ситуации. Она была создана, чтобы помочь нам понять наше собственное мышление и помочь понять разницу между моральными системами, основанными на правилах, и теми, что ориентируются на результат, то есть в конечном итоге – с помощью проблемы вагонетки мы должны были лучше понимать философию. И она может помочь нам лучше разобраться в этой ситуации.
Мне нравится говорить, что инженерное решение этой задачи более простое – нужно починить тормоза вагонетки. Инженеры беспилотных автомобилей преимущественно будут работать над тем, чтобы их автомобили никогда не попадали в такие ситуации, пусть они и происходят очень редко.
Вариации проблемы вагонетки, которые придумали философы, гораздо интереснее оригинальной формулировки. В одном из вариантов вам нужно не дернуть переключатель, а толкнуть толстого человека на рельсы, чтобы остановить тележку — немногие пойдут на это, так как это преднамеренное убийство. В наиболее экстремальной версии у вас нет вагонетки, но есть 5 пациентов, которым срочно нужна пересадка органов. Вы можете схватить человека, идущего по улице, разрезать его и спасти пятерых человек – почти никто не согласен так поступить, хотя это та же самая проблема с точки зрения утилитарного подхода.
Почти никто так не поступит, потому что среди нас мало тех, кто строго принадлежит к той или иной моральной школе. Для нас сложнее изменить наше мышление. Чтобы понять и решить проблемы в области тестирования и выпуска беспилотных автомобилей, мы должны превзойти естественный и индивидуальный инстинкт, чтобы воспринимать различные случаи как «всего лишь» отдельные трагедии, которые они из себя представляют, и думать о том, какие риски приемлемы и могут быть разрешены как общество.
Кроме того, у нас гораздо более сильное отторжение вызывают трагедии, которые происходят со сторонними прохожими, хотя мы не возражаем настолько же сильно против того, чтобы подвергать этих людей меньшим рискам. Наконец, мы больше боимся того, что нам нанесут вред самостоятельные машины, а не люди.
Люди забавны в том, что хотя большинство боится смерти от роботов, скорее мы будем убиты нетрезвым преступником.
В основном люди считают, что убивать, чтобы спасать жизни, неправильно, это бесспорно. Реальный вопрос состоит в том, что на самом деле из себя представляет тестирование и выпуск беспилотных автомобилей на дороги – убийства для спасения жизней, или принятие рисков с той же целью. На самом деле, в большинстве случаев мы согласны на то, чтобы рисковать ради спасения жизней при условии хорошего результата.
Моральные аспекты вождения
Итак, какова связь между философией морали и автомобилями? Для того чтобы это выяснить, нам необходимо задуматься о моральном аспекте дорожных происшествий. Люди по отдельности и общество в целом по-разному относятся к этой проблеме. Общества в целом и закон в частности, предпочитают не описывать что-либо как безнравственное или злое, если только не было злого умысла, который в юриспруденции называют mens rea. Почти все уголовные преступления подразумевают злой умысел, а если его нет, то наказание (в большинстве случаев) смягчается. Из-за этого нередки ситуации, когда кто-то сбивает насмерть человека на машине и не несет за это уголовной ответственности. Водителю будет грозить финансовое наказание, но оно покрывается страховкой. Виновник выйдет из этой ситуации только с чувством вины за то, что произошло. Но все это верно только в том случае, когда убийство человека было совершенно непреднамеренным и фактически полностью противоречило намерениям водителя. Не может быть убийства (даже непредумышленного) без четкого намерения или серьезной и умышленной халатности за рулем.
С другой стороны, рассмотрим превышение скорости. Превышение скорости незаконно, даже если оно часто совершается, но в некоторых местах наказывается редко. Когда вы ускоряетесь, вы знаете (или должны знать), превышаете вы или нет. При этом вы подвергаете дополнительному риску других людей, хотя, к счастью, как правило ничего страшного не происходит. Несмотря на то, что вы непременно получите штраф за превышение скорости, если это превышение привело к аварии, большинство штрафов выписывается за превышения, которые никому не навредили. Почти все из нас периодически превышают скорость, и мы делаем это по очевидной причине – мы хотим добраться куда-то немного быстрее. Это может противоречить интуиции, но преднамеренное превышение скорости в нашей системе более аморально и незаконно, чем случайное убийство, хотя мы как личности гораздо более терпимы к превышениям.
Я полагаю, что настоящая моральная проблема в вождении заключается в том, что мы умышленно подвергаем риску других людей. Или, для большей конкретики, неприемлемо высокому риску. Любое вождение подразумевает, что другие люди будут подвергнуты риску. На самом деле, вероятно, при вождении мы наиболее часто подвергаем других людей наибольшему риску. Все мы знаем ошеломляющее количество смертей, травм и случаев нанесения материального ущерба от вождения – в авариях погибло больше людей, чем суммарно на всех войнах и в результате терактов за всю историю Соединенных Штатов со времен войны за независимость. Все это пугающе рискованно, но для нас это так важно, что мы решили согласиться на этот относительно высокий риск для себя и людей вокруг. Мы делаем это намеренно, хотя и часто забываем об этом, и мы, безусловно, плохо помним математическую сущность этих явлений. Мы считаем этот базовый уровень риска «приемлемым» в наших законах и нашей жизни.
Общество решило, что неправильность и незаконность заключаются не в конкретных жертвах, а в преднамеренном и небрежном подвергании других людей чрезвычайному риску.
Мы считаем приемлемыми удивительное количество рисков, связанных с вождением:
В данный момент тестовые беспилотники, кроме нескольких исключений, всегда работают под контролем водителя-человека, готового взяться за дело в случае возникновения проблем. Почти всегда есть и второй человек, который следит за системами и время от времени поглядывает на дорогу. Это можно сравнить с ситуацией, когда водитель-тинейджер с ученической лицензией водит в сопровождении инструктора. У инструктора есть своя педаль тормоза, и он может перехватить руль, как и водитель в беспилотнике. Водители-подростки, сопровождаемые инструкторами, на самом деле имеют довольно неплохие показатели безопасности, как и почти все команды, занимающиеся беспилотными автомобилями – за исключением Uber, о котором я расскажу позже.
Эти подростки-водители, получив лицензию после прохождения минимального теста, становятся самыми опасными водителями на дороге. Мы выпускаем их на дорогу, чтобы дать им мобильность, на также потому, что это единственный способ сделать из них более осторожных взрослых водителей, которыми они станут в конечном итоге. Мы берем на себя риски, связанные с вождением водителя-подростка, в надежде в будущем получить более осторожного водителя. Из каждого рискованного подростка на дороге вырастает один взрослый, более осторожный взрослый (на самом деле чуть меньше одного, потому что не все подростки действительно достигают этого самого безопасного возраста).
Как отмечалось ранее, команда разработки беспилотных автомобилей подвергают людей вокруг некоторому риску, однако польза, которую приносит этот риск, огромна. Небольшая учебная поездка улучшит безопасность всех последующих автомобилей, которые будут созданы позднее, что в конечном итоге означает миллионы улучшенных автомобилей. Принимая первичные риски тестирования и разработки, мы получаем выгоду от значительного снижения рисков в будущем. Снижение рисков наступит тогда, когда машины начнут водить безопаснее, чем люди, а люди перестанут подвергать риску окружающих, выбирая поездку на беспилотном автомобиле вместо самостоятельного вождения. Это особенно верно, когда речь о людях, которые выпивали или связаны с каким-либо из пунктов списка выше.
Некоторые утверждают, что мы должны учитывать не просто чрезвычайные риски, а необходимые. Потому что может быть неверно подвергать людей обычному риску, если в этом нет необходимости. В частности, некоторые утверждают, что нынешние команды проводят больше тестов, чем необходимо, и что это неправильно. Возможно, это верный подход (хотя, конечно, необходимое количество тестов остается предметом споров). Тем не менее, если мы рассмотрим причины, по которым люди принимают рискованные решения на дороге – от доставки еды, до возвращения домой на минуту раньше, едва ли они удовлетворяют уровню необходимости, несмотря на то, что мы терпим эти риски.
Здесь мы должны рассуждать, отталкиваясь от результатов. Усилия команд, работающих над беспилотными автомобилями, снижает уровень риска по всему миру, и как общество мы должны относиться к этому положительно. Мы должны разочарованно покачать головой из-за того, что мы вообще допустили такие риски в человеческом вождении. Как и в случае водителя-подростка, мы можем заметить компромисс между принятием рисков в обучении и ранним началом водительской практики для снижения рисков в будущем. Подвергать риску других – неправильно, предотвращать его – правильно. Истина в балансе.
Измерение рисков
Очень хорошо, когда есть баланс. Мы можем позаимствовать термин из анализа рисков и сказать, что каждая миля автоезды производит 0.1 микроморт риска по всему миру. Микроморт – риск гибели, равный 1 к миллиону. В США это значение лучше среднего – около 0.013 микроморт на милю. Оказывается, что можно легко просчитать снижение рисков, связанное со скорым появлением безопасных беспилотных автомобилей. Необходимо вычислить насколько безопаснее будут эти автомобили в дальнем будущем – допустим, вдвое безопаснее, чем человеческое вождение в США, то есть 1/250 микроморт на милю. Затем вы умножаете это значение на мили человеческого вождения, которые накопятся за время, пока первичный выпуск беспилотных автомобилей будет откладываться. Таким образом вы учитываете предположение, что при задержке первичного выпуска беспилотных автомобилей на это же время задерживается и полная замена человеческого вождения на поездки на беспилотных автомобилях. Это не вполне точная оценка, но получается хорошее приближение. Таким образом, если вы отложите выпуск беспилотных автомобилей на год, то в результате вы получите более половины триллиона (это огромное значение) микромортов по всему миру, что равняется половине миллиона смертей. Задержка всего на один день принесет 1.5 миллиарда микромортов риска, которым будет подвергнут весь мир. Мы водим настолько много (по моим подсчетам около 1.7 световых лет каждый год), что только световые года могут быть единицей измерения человеческой активности.
Вы можете спросить, почему я пишу о «миллиардах микромортов», хотя проще написать о тысячах жизней? В этом весь смысл этого текста – научиться думать о тестировании как о миллионах небольших рисков, каждый из которых приносит все больше пользы, а не относиться к испытаниям как к обязательным сериям трагических смертей. Точно так же, как мы относимся к миллиардам доставок пиццы, которые представляют собой миллиарды крошечных рисков в обмен на миллиард простых ужинов.
Несколько тысяч прототипов роботизированных автомобилей создают риски, но их не настолько много. Если бы мы предположили, что они водят крайне небезопасно (а это совсем не так), то мы получили бы около 100 000 микромортов за все время их существования. Сравните это с 1.5 миллиардами за каждый день задержки выпуска беспилотных автомобилей. Эти цифры трудно игнорировать. 100 000 единиц риска против триллионов – с учетом осторожных предположений, которые учитывают порядка 10 миллионов миль тестирования и создание и выпуск на 2-3 года раньше.
Насколько хорошо безопасное вождение?
Насколько велик риск? Ведущей компанией в этой сфере является Waymo. Я работал над их проектом 7 лет назад, когда он принадлежал Google. Их машины проехали более 10 миллионов миль и лишь один раз произошло незначительное повреждение имущества. У них было больше аварий по причинам, отличным от тех, которые мы обычно ожидаем услышать, но даже с учетом этих происшествий они добились очень хорошего показателя безопасности – лучше чем у среднего водителя, и конечно лучше, чем у подростка, который только недавно получил права. Весьма вероятно, что любая сеть пиццерий подвергает людей большему риску в соотношению на милю чем машины компании Waymo, при это все, что мы за это получаем – доставка вкусной еды, а не огромное снижение рисков, которое нам обещает выпуск роботизированных автомобилей. И в случае с пиццериями, мы не получим развития молодых водителей в зрелых и надежных.
Tesla публикует информацию о расстоянии, пройденном между авариями с машинами Tesla на автопилоте и на ручном управлении. Последними опубликованными цифрами были 4.3 миллиона миль в случае с автопилотом и 2.7 миллиона миль при выключенном автопилоте. Tesla не уточняет какой именно была авария, поскольку автопилот почти полностью является продуктом для шоссе, количество аварий будут ниже в тех местах, где он используется, но эти цифры хороши даже с учетом этих факторов. Они предполагают, что риск наличия только одного необученного потребителя в роли водителя, обеспечивающего безопасность (который находится за рулем во время работы автопилота) на шоссе находится в рамках допустимого риска, что подтверждает, что двух хорошо обученных водителей безопасности достаточно с большим запасом. Как ни странно, непонятно, что означает для необученных водителей-одиночек ситуация, в которой система становится настолько хорошей, что водитель становится самоуверенным, или же что это означает для езды по городским улицам. Однако, Tesla вскоре расширит предлагаемые услуги и добавит в автомобили информацию об улицах города, а также поможет ответить на различные вопросы, связанные с нашей темой. На эти вопросы уже есть ответы для опытных водителей безопасности, но большим исключением является компания Uber.
В марте 2018 года автомобиль компании Uber сбил насмерть Элейн Херцберг, жительницу Темпе, Аризона, которая пересекала пустую дорогу за пределами пешеходного перехода. Большинство людей в этой отрасли поражены тем, что автомобиль не обнаружил женщину и не затормозил с большим запасом времени. Причины этого отказа широко обсуждались, но в результате Национальный совет по транспортной безопасности, я сам, и многие другие пришли к выводу, что это была на 99.9% человеческая ошибка. Uber сделали очень плохое решение при выборе и обучении водителей, отвечающих за безопасность, и решили оставить только одного водителя вместо двух по каким-то глупым причинам, при этом они не следили за тем, насколько внимательно водители относились к безопасности. В результате водитель, отвечавшая за безопасность, проигнорировала все протоколы и, как заявляется, смотрела телешоу на своем смартфоне, в то время как система автопилота Uber, будучи плохо спроектированным прототипом, не смогла обнаружить пешехода, когда это было необходимо, и из-за еще большего количества глупых причин не смогла подействовать в момент, когда пешеход был обнаружен в последний момент. Работа водителя безопасности заключалась в том, чтобы следить за дорогой и вручную тормозить и поворачивать в случае таких неисправностей. Она этого не сделала, и результат оказался трагическим. Неудача была связана с водителем безопасности, ее подбором и обучением — у всех команд есть сбои в системе, которые требуют вмешательства, особенно в первые годы — но было и множество других обвинений. Uber прекратил тестирование и лишь спустя 18 месяцев компания вернулась к ограниченным испытаниям в Питтсбурге, хотя они надеются вернуться к большему.
Есть веский аргумент, что водитель безопасности была небрежна и подвергла общество совершенно неприемлемому уровню риска, пытаясь смотреть телешоу, в то время, как ее задачей было следить за дорогой и работой автомобиля. Если это так, она должна быть наказана за это. Люди утверждают, что компания Uber пользовалась плохими методами во многих областях и делала это либо преднамеренно, либо по халатности. И если это правда, то это за это компанию необходимо наказать, либо пытаться предотвращать подобные ситуации. На самом же деле из-за того, что жертва была бездомной, а также переходила дорогу в неположенном месте, суд не приговорил Uber к каким-либо тяжелым наказаниям, однако ответственность перед обществом и правительством была велика. Компании Uber запретили работать в штате Аризона на долгое время.
Для того чтобы отрегулировать безопасность испытаний и выпуска беспилотных автомобилей на дорогу, мы должны научиться оценивать величину риска, которому команды разработчиком могут подвергать других людей. Нам хочется, чтобы местные правила мотивировали команды держать риски ниже приемлемого уровня. Но было бы по меньшей мере глупо требовать, чтобы эти риски были значительно ниже тех, на которые мы согласны для получения гораздо меньших выгод. На самом деле, награда настолько велика, что мы должны мириться с тем, что тестирование беспилотных автомобилей является одной из самых рискованных вещей, который мы допускаем на дорогах, хотя мы не хотим и не должны соглашаться на неприемлемые ранее уровни риска. Но если мы собираемся позволить миллионам водителей путешествовать сонными по ледяным дорогам с содержанием 0,07% алкоголя в крови для получения очень малой выгоды, то было бы разумно согласиться с уровнями риска тестирования беспилотных автомобилей, которые намного ниже, чем в описанной ситуации.
Не то чтобы компании хотели брать на себя такой уровень риска. Фактически, многие из них вложили в эти проекты миллиарды долларов и свою репутацию. Еще до того, как Uber были вынуждены свернуть все работы (возможно навсегда), команды знали, что любой такой инцидент может быть губительным для их проекта, компании, а также для их собственной совести. Подавляющее большинство старается держать уровень риска настолько низким, насколько это возможно. Это не означает, что всем компаниям можно доверять – это невозможно. А также это не значит, что мы не хотим устанавливать хорошие принципы безопасности и создавать дополнительные средства сдерживания, которые уберегут нас от использования плохих методов. Но мы не должны упускать из виду то, что наши регулирующие органы могут рассказать компаниям о том, как изобрести совершенно новые способы повышения безопасности. Потому что каждый день отсрочки выпуска беспилотных автомобилей равен 3 миллиардам микромортов.
Заключение
Мы можем сказать, что нам не нравится план, в котором 100 человек могут погибнуть ради создания того, что спасет миллионы жизней. В то же время, мы можем сказать, что мы не против того, чтобы пойти на множество небольших рисков, чтобы значительно уменьшить уровень нашего риска в будущем.
Мы смешиваем наши личные и общественные реакции, когда происходит настоящая трагедия. Наши суды и законы пытаются продвигать то, что лучше для общества, но в то же время наши моральные инстинкты означают, что даже на малейший дополнительный риск — тот, который обычно остается безнаказанным — охотятся и реагируют экстремальными способами. Нарушения правил, вроде превышения скорости, которые допускаются людьми каждый день, наказываются сурово в тех случаях, когда происходит что-то серьезное, и превышение скорости имело место, даже если оно не было причиной происшествия. Мы не хотим, чтобы закон был таким капризным, но мы также не можем допускать трагедии.
Страховые компании думают об общей картине, как и мы, когда мы покупаем их полисы. Правительства думают так же. Мы должны научиться рассуждать таким образом и принять позицию с согласием на допуск небольших рисков, если мы хотим разобраться с настоящей трагедией, которая является результатом плохой истории человеческого вождения.
Мы большая компания-разработчик automotive компонентов. В компании трудится около 2500 сотрудников, в том числе 650 инженеров.
Мы, пожалуй, самый сильный в России центр компетенций по разработке автомобильной электроники. Сейчас активно растем и открыли много вакансий (порядка 30, в том числе в регионах), таких как инженер-программист, инженер-конструктор, ведущий инженер-разработчик (DSP-программист) и др.
У нас много интересных задач от автопроизводителей и концернов, двигающих индустрию. Если хотите расти, как специалист, и учиться у лучших, будем рады видеть вас в нашей команде. Также мы готовы делиться экспертизой, самым важным что происходит в automotive. Задавайте нам любые вопросы, ответим, пообсуждаем.