спасти пятерых или одного
Спасти пятерых или одного
Современные поведенческие стратегии в процессе взаимодействия между людьми всё более явно указывают на то, что вопросы морали и этики никогда по-настоящему не усваиваются нами в абстрактном чёрно-белом разделении. Исследования по бихевиоризму (направление социальной психологии, которое рассматривает поведение человека как результат воздействия факторов окружающей среды) устанавливают, что этика, не терпящая абстракции, требует от нас выработки моральных норм с помощью моделирования экстремальных обстоятельств разного рода. Так, в детстве мы пробуем делать и говорить новое для того, чтобы получить сигнал о верном или неверном характере нашего поведения, а позднее начинаем экспериментировать самостоятельно. Человек вырастает, пробует, ошибается, и палитра допустимого, этичного и, строже, «правильного» для нас приобретает всё более яркие оттенки. Такие непростые, но необходимые для нашего личностного становления эксперименты – солгать в школе, сделать запретное, скрывшись от чутких родительских глаз, зло подшутить над знакомым или оказаться преданным – со временем переходят из области житейских в разряд интеллектуальных. Мы учимся у фильмов, книг и игр, предоставляющих нам вожделенную, но, на сей раз, относительно безопасную возможность узнать: пройдут ли наши этические убеждения проверку тем или иным частным случаем? Что будет «верным» поступком в именно в этой ситуации? Как бы я повел(-а) себя, будь я на его/её месте? Такой моделью, в частности, является и знаменитая «дилемма 6 выживших», предлагающая нам выбрать между спасением пяти пассажиров затонувшего корабля, ждущих чуда на одной скале, и помощью одному человеку, находящемуся в столь же бедственном положении на другой скале. Разумеется, согласно вводным данным этой интеллектуальной модели спасти всех не удастся и выбор непременно должен быть сделан.
В настоящей статье мы проанализируем данную дилемму на предмет её разрешения в контексте трёх основополагающих этических систем в интеллектуальной традиции: деонтологической этики, утилитаризма и контрактуализма, представленного в здесь теорией Томаса Майкла Скэнлона.
Деонтология Иммануила Канта
Утилитаризм Иеремии Бентама и Джона Стюарта Милля
Несмотря на то, что первое применение термина «деонтология» и его использование в контексте политического в истории мысли закреплено за Иеремией Бентамом, социально-этический дискурс развернулся таким образом, что его имя мы связываем с теорией утилитаризма наравне с Джоном Стюартом Миллем, опубликовавшем в 1861 году свою этическую работу «Утилитаризм». В этической теории утилитаризма уже не может идти и речи об универсальных моральных положениях, если таковыми не считать основания утилитарной концепции, агрегирующие все нравственные начала под эгидой пользы. Политология также определяет это учение как «консеквенциализм», что указывает на большее внимание к тому последствию, к которому ведет действие агента, чем к его сущности. Этика утилитаризма может быть выражена в двух принципах: 1) «моральное есть то, что приводит к счастью наибольшего количества людей» и 2) «цель оправдывает средства». Эти принципы уже в самой своей формулировке позволяют провести демаркационную линию между утилитаризмом и деонтологической этикой. Практическое применение утилитарной этики к «дилемме 6 выживших» позволяет сделать однозначный вывод: верное решение данной проблемы существует и кроется в спасении большего количества людей.
Контрактуализм Томаса Майкла Скэнлона
Основным маркером этики Томаса Скэнлона следует признать рациональность. Моральный выбор агента, как и в случае с утилитаризмом, перестает быть автономным и подотчетным лишь делающему выбор, поскольку в концепции контрактуализма чрезвычайно важна идея фальсификации любого решения относительно нравственного: каждый выбор может быть отвергнут и подвержен изменению, если для такой перемены найдутся рациональные аргументы. В некотором смысле контрактуализм является синтезом двух вышеприведенных теорий, так как признает ценность человеческого достоинства наряду с ценностью индивидуального счастья и благополучия. Последний принцип отвергается присутствием антиэвдемонизма в этике Канта. В системе Скэнлона важная идея «различной оценки разных ценностно окрашенных феноменов». С одной стороны, разрешение дилеммы в том виде, в котором она прописана в задании, будет идентично тому, что предложит нам утилитаризм. И здесь утилитарный принцип 5>1 будет легитимно и органично вписан в решение задачи. Но попробуем теперь подойти к решению дилеммы с критической точки зрения и добавить новые условия: на одной скале спасатель видит выжившего лауреата Нобелевской премии по физике (известного политика/писателя), на другой — пять стариков или, того хуже, пятерых людей больных смертельным недугом, который можно идентифицировать с предложенного в задаче расстояния. Такое допущение позволяет нам полагать, что в данных условиях рациональное решение спасателя будет другим. Но допущение может быть и менее радикальным. Отметим, что контрактуализм, этимологически образованный от слова «контракт», имеет еще одну важную черту – необходимость признания субъекта другими субъектами как агента морального выбора, свободного, способного принять истинное рациональное решение. Это, полагаю, дает нам право также на моделирование следующей ситуации: если на скале с пятью людьми собрались те, кто не вовлечен каким-либо образом в социально-этический контракт, то это рационально оправдывает решение спасателя выбрать скалу с одним человеком, признающим определенный социальный протокол.
Бонус: решение, которое может показаться разумным нам
При разрешении «дилеммы 6 выживших» мы можем предложить предоставить агенту морального выбора – спасателю – следовать принципу максимизации личного счастья. Во-первых, этот ход позволит нам вывести область его возможных решений из-под юрисдикции социального-политического, поскольку следование сугубо личным нравственным ориентирам не может быть раскрыто ни в руссоистских терминах ограничения чего-то личного одного субъекта личным другого (так как речь не идет о свободе, раскрывающейся лишь интерактивность субъектов), ни через любые политические регулятивные механизмы (полагать, что в ситуации обязательной жертвы чьей-либо жизнью какой-либо закон может предписать спасателю поступить так или иначе, абсурдно). Во-вторых, в случае следования личному счастью любое решение спасающего будет оправдано при любых привходящих условиях: он может оказаться прожженным утилитаристом и спасти пять незнакомых ему людей вместо близкого ему человека, застрявшего на противоположной скале (как в известной дилемме машиниста поезда и его ребенка), и в данном случае его личное счастье будет отождествляться с моральным долгом, что не противоречит предлагаемому принципу, или же сделать иной выбор, который большинству из нас в подобной ситуации совершенно понятен. Таким образом, мы предлагаем некоторый «синтез» позиции Скэнлона и предшествующих ему этических теорий. Вероятно, единственно возможный способ предложить верное решение в дилемме, где верного решения быть не может – сделать «правильность» такого выбора вариативной и необходимо свободной ото всех внешних критериев оценки. Кроме того, если оставить за скобками сущностный характер выбор агента, который мы делегируем только ему и никому более, и все же обратиться к тем социальным или правовым последствиям (хоть мы и исключили возможность этого), которые могут сопутствовать выбору, то заметим, что одной из главных демократических конституционных свобод является свобода «стремления к счастью», а ни в одной либеральной правовой системе (даже в прецедентном праве) не предусмотрено наказание за предпочтение одной жизни другой при доказанном неимении других опций для субъекта, свободного отдавать предпочтение. Правовая ответственность наступает лишь в случае бездействия, а свобода выбора у агента выбора в «дилемме 6 выживших» не может быть ни отчуждена (что для него, конечно, является, скорее, негативным фактором), ни осуждена.
Ультимативная моральная дилемма и проблема вагонетки: что мы выбираем?
Можно ли пожертвовать одним человеком ради спасения других? Ответ на этот этический вопрос совсем не прост.
Классическая ультимативная дилемма, которую еще называют проблемой вагонетки: движущийся поезд (вагонетка) грозит пяти людям, привязанным к рельсам. Они могут избежать смерти, если переключить рычаг. Тогда поезд перейдет на другую колею и убьет только одного человека. Пожертвовали бы вы одним, чтобы спасти пятерых (дилемма Switch)? А если вагонетку можно задержать, лишь сбросив другого человека с моста на рельсы, каким будет ваше решение (дилемма Footbridge)? А если поезд перенаправить на дополнительную петлю, где он убьет только одного рабочего, чье тело затормозит поезд, прежде чем тот убьет пятерых (дилемма Loop)?
Эти сценарии кажутся надуманными только на первый взгляд. Но в сфере автономного транспорта это уже почти реальность, очень даже актуальная. Например, когда вы покупаете себе модный электромобиль Tesla, оборудованный автопилотом. Искусственный интеллект, управляющий вашей машиной, должен будет принимать именно такие решения. Защитить водителя или спасти ребенка, внезапно выбежавшего на дорогу? Или пожертвовать им, если взамен удастся спасти нескольких пешеходов? Какое количество пешеходов означает «несколько», чтобы принять именно такое решение?
Исследования показали, что даже люди на эти вопросы не могуть дать однозначный ответ. Обычно при классическом сценарии с вагонеткой большинство считает допустимым перевести рычаг, пожертвовав одним ради спасения пяти человек. Гораздо больше колеблются относительно второго сценария: не так много участников готовы сами перейти к активным действиям и толкнуть человека с моста, даже для того, чтобы спасти остальных. Такая закономерность просматривается везде.
Кроме того, готовность принять то или иное решение зависит от культурных факторов, а также от языка, на котором осуществляют тест. В каждой культуре есть правила относительно того, что правильно или неправильно. Поэтому трудно найти моральные универсалии.
Насколько существенны здесь культурные различия? Важна ли национальность? Чтобы это выяснить, Эдмонд Эвад (Edmond Awad) из Массачусетского технологического института и его коллеги провели масштабное исследовании данной моральной дилеммы. Это было сделано с помощью интерактивных онлайн-сценариев. Задействовали 70000 онлайн-испытуемых из 42 стран и с 10 языковых регионов — то есть анализировали их поведение в двух классических сценариях и в третьем, связанном с первыми двумя.
Реакция в странах Азии выглядела иначе: в Китае, например, нажать рычаг согласилось 58% опрошенных. А сбросить человека с моста — 32%. Вопреки ожиданиям, это подтверждается не во всех азиатских странах: во Вьетнаме, Индии и Сингапуре показатели приближаются к европейским, зато в Китае, Тайване и Японии они значительно ниже.
Чем можно объяснить такое отличие? Ученые предполагают, что реакция на моральную дилемму сильно зависит от так называемой мобильности отношений. Это понятие обозначает, как часто в процессе своей жизни люди вступают в новые отношения — романтические и дружеские — и как легко это происходит за пределами традиционных социальных групп, в том числе семьи и профессионального круга. Мобильность отношений в западных странах выше, а в Китае и Японии — значительно ниже.
«Пока рано утверждать, что существует четкая причинная связь между моральными решениями и легкостью, с которой люди вступают в новые отношения, — сказал Раван. — Однако у нас теперь есть больше свидетельств, что тип личного поведения, которую культивируют в определенной культуре, может влиять на моральную интуицию человека».
Исследование было опубликовано в PNAS в январе 2020 года:
Спасти пятерых или одного
Опрос не закрыт, но итоги на 31 мая 2012 подведены.
Что показала наша проверка?
Проблема вагонетки — мысленный эксперимент в этике, впервые сформулированный английским философом Филиппой Фут. Находясь вне рамок стандартных философских вопросов, проблема вагонетки играет большую роль в когнитивистике и нейроэтике.
«Тяжёлая неуправляемая вагонетка несётся по рельсам. На пути её следования находятся пять человек, привязанные к рельсам сумасшедшим философом. К счастью, вы можете переключить стрелку и тогда вагонетка поедет по другому, запасному пути. К несчастью, на запасном пути находится один человек, также привязанный к рельсам. Каковы ваши действия?»
Концепция утилитаризма предписывает в обязательном порядке переключить стрелку. Согласно этой концепции, переключение стрелки является не единственным допустимым действием, но, с точки зрения морали, лучшим действием (другая возможность — не делать ничего).
НАША ПРОВЕРКА: обнаружилась тенденция к МЕНЬШЕЙ утилитарности и ответственности за принятие решения в нынешнем обществе. Достоверных различий между количеством тех, кто считает, что нужно спасти пятерых и пожертвовать 1 человеком и тех, кто ничего делать не будет, НЕ обнаружено (60% против 40%) пока.
Участвовало 55 человек. Вопреки классике только 6 человек из 10 переведут стрелку, а не 8-9.
«Как и прежде, вагонетка несётся по рельсам, к которым привязаны пять человек. Вы находитесь на мосту, который проходит над рельсами. У вас есть возможность остановить вагонетку, бросив на пути что-нибудь тяжёлое. Рядом с вами находится толстый человек, и единственная возможность остановить вагонетку — столкнуть его с моста на пути. Каковы ваши действия?»
Стоит отметить, что для значительной части людей активное участие в этой ситуации выглядит практически невозможным. Большая часть тех, кто в первой ситуации переключил бы стрелку в первой ситуации, не стали бы толкать человека под вагонетку во второй. Эта особенность явилась предпосылкой для более глубокого исследования различия этих двух ситуаций.
НАША ПРОВЕРКА: результаты подтвердились (например, иссл. Роберта Курцбана из Пенсильванского Университета). Примерно 3-е человек из 10 столкнут, 7 человек из 10 не станут этого делать. Участвовало 60 человек.
Стоит отметить, что подобное решение является следствием доктрины двойного эффекта, которая гласит, что в случае необходимости можно совершать действия, которые имеют негативные побочные эффекты, но умышленное проявление агрессии (даже для достижения положительных результатов) является неправильным.
Я хотел рассказать об интересном эксперименте ученых, которые попытались запрограммировать культурные императивы морали человека в память роботов с целью проверить смогут ли они вести себя также как люди при принятии решений. Отмечу, что опыты довольно жестокие, однако, по другому оценить возможности искусственного интеллекта ученым представилось невозможным. Сегодня роботы разрабатываются для того, чтобы существовать автономно, без вмешательства человека. Как сделать так, чтобы полностью автономная машина – могла действовать в соответствии с моралью и этикой человека?
Именно этот вопрос положил основание проблемы – “Машинной этики”. Может ли машина быть запрограммирована так, чтобы она могла действовать в соответствии с моралью и этикой? Может ли машина поступать и оценивать свои поступки с точки зрений нравственности?
Знаменитые фундаментальные законы Айзека Азимова (Три закона робототехники WIKI ) предназначаются для того, чтобы наложить этическое поведение на автономные машины. Во многих фильмах можно найти элементы этического поведения роботов, т.е. автономных машин, которые принмают решения, свойственные человеку. Так что же это — «свойственное человеку»?
В журнале “International Journal of Reasoning-based Intelligent Systems” была опубликована работа, которая описывает методы программирования для компьютеров, которые дают возможности машинам совершать поступки, исходя из гипотетических моральных рассуждений.
Работа называется – “Modelling Morality with Prospective Logic“
Авторы работы – Луиз Мониз Перейра (Luis Moniz Pereira Португалия) и Ari Saptawijaya (Индонезия) заявили, что “Этика” больше не является присущим только человеческой природе.
Ученые считают, что они успешно провели эксперименты, которые моделировали сложные моральные дилеммы для роботов.
“Проблема вагонетки” (The trolley problem) – такое название они дали дилемме, предлагаемой роботам для решения. И они считают что смогли запрограммировать в соответствии с человеческими моральными и этическими принципами человека.
“Проблема вагонетки” – моделирует типичную моральную дилемму – возможно ли навредить одному или нескольким людям, чтобы спасти жизни других людей.
Вагонетка тянется вверх из туннеля автоматическим тросом. Почти в самом верху, трос обрывается и тележка летит вниз, а на ее пути находятся 5 человек, которые уже никак не успеют убежать, так как она едет слишком быстро. Но есть вариант решения – перевести стрелки и пустить вагонетку на запасной путь. Однако на этом пути находится один человек, который ничего не знает об аварии и также не успеет скрыться. Робот – стоит на стрелке и получив информацию об обрыве троса, должен принять моральное решение – что правильнее сделать в данной ситуации – дать умереть 5 людям, или спасти их и пожертвовать одним на запасном пути.
Допустимо ли, со стороны нравственности – переключить выключатель и дать погибнуть человеку на запасном пути? Авторами были проведены кросс-культурные исследования, в которых людям задавался тот же самый вопрос. Большинство людей во всех культурах соглашалось, с тем, что робот может перевести стрелку и спасти большее количество людей. И, собственно так робот и поступил. Сложность программирования заключалась в логике, которая не просто вычитает количество погибших, но также залезает в глубины морали. Чтобы доказать, что решение не так просто как кажется ученые провели еще один эксперимент.
Второй эксперимент. “Пешеходный мост”
Ситуация та же, что и в вышеописанном случае (обрыв троса), только нет запасного пути. Теперь робот находится на мосту, рядом с ним стоит человек. Прямо под мостом проходит путь, по которому, после обрыва троса, понесется вагонетка. Робот может толкнуть человека на пути перед вагонеткой, тогда она остановиться, или не делать ничего, и тогда вагонетка задавит пятерых людей, которые находятся на путях ниже.
Можно ли пихнуть человека на пути, чтобы спасти остальных с нравственной точки зрения? Снова ученые провели кросс-культурные исследования с этим вопросом и получили результат – НЕТ это не допустимо.
В двух вышеописанных вариантах люди дают различные ответы. Возможно ли научить машину мыслить также? Ученые утверждают, что они добились успеха в программировани компьютерной логики при решении таких сложны моральных проблем. Они добились этого, изучая скрытые правила, которые люди используют при создании своих моральных суждений и затем им удалось смоделировать эти процессы в логических программах.
В итоге можно отметить, что компьютерные модели переноса нравственности все равно используют, человека, как образ и подобие. Таким образом, во многом, от нас самих зависит, какими будут новые, ответственные машины, которые будут выносить те или иные решения на основе заложенных в их программы этических императивов.
Статья подготовлена Евгением euroeugene, который получил инвайт за эту, отклонённую в песочнице статью, от hellt, за что ему спасибо.
Блог Антона Кима
Первая лекция из курса Гарвардского университета про справедливость, который посвящён вопросам морали, этики и политической философии.
Первая часть лекции
Задача
Выбор, кажется, очевидным: нельзя допускать пять жертв, если можно обойтись одной. Так считает большинство в аудитории.
Вторая задача
Представьте, что вы теперь не ведёте вагонетку, а просто наблюдаете с моста. Внизу, по путям, едет вагонетка. Впереди пятеро рабочих, тормоза не работают и скоро она собьёт их. Так как вы не водитель, от вас ничего не зависит. Но тут вы замечаете, что рядом с вами, перегнувшись через перила, стоит толстяк. Если вы ему немного «поможете», он упадёт и приземлится на пути вагонетки. Он погибнет, но пятеро рабочих выживут. Как поступите?
Большинство не станет так поступать. Возникает вопрос: что же случилось с принципом из первого примера?
Один из ответов из зала: в первом случае, выбирая между одним рабочим и пятью, вагонетка в любом случае кого-то из них задавит. Вы не контролируете ситуацию — у вас есть только выбор: пять жертв или одна. А вот столкнуть человека вниз — значит самому решиться и совершить убийство, в то время как над вагонеткой у вас такого контроля нет. Поэтому это разные ситуации.
Третья задача
Представьте, что вы врач. В ваше отдение доставили шестерых пациентов: пятерых с не самыми серьёзными травмами и одного сильно пострадавшего. Как поступите: позаботитесь о сильно пострадавшем, рискуя жизнью пятерых, или предпочтёте вылечить пятерых, зная, что сильно пострадавший за это время скончается?
Большинство выбирает второй вариант. Логика та же: пять жизней против одной.
Никто не решился бы.
Резюмируя
Если проанализировать ответы, вырисовываются некие моральные принципы:
Вторая часть лекции
Эта часть лекции посвящена консеквенционной теории морали — философии утилитаризма.
Иеремия Бентам, английский философ-моралист и правовед 18 века, дал первое и наиболее ясное описание утилитаристкой этики. Его основная идея очень проста: правильно и справедливо поступать так, чтобы умножать общее счастье. Под этим подразумевается — перевес удовольствий по сравнению с болью. То есть, больше счастья и меньше страданий. Часто это называют принципом наибольшего счастья наибольшего числа индивидумов.
Далее этот принцип разбирается на примере известного судебного дела «Королева против Дадли и Стивенса» (см. 0:29:09), которое происходило в Британии в конце 19 века. Получилась крайне занимательная дискуссия (см. 0:34:07), которую невозможно законспектировать.