Что такое китайская комната

Китайская комната

Учёные изобрели сверхмощный чип, благодаря которому машины обрели искусственный интеллект невероятной силы. В недалёком будущем они вышли из-под контроля, уничтожили человечество и захватили Землю. Второй вариант – машины, опередившие в своём развитии человека в тысячи раз, поработили своих создателей и используют их в качестве домашних животных…

Наверное, сюжет всем хорошо знаком, ведь на его основе создана масса фантастических романов и фильмов. Но сможет ли в действительности искусственный разум превзойти человеческий или хотя бы приблизиться к нему? Дискуссии на эту тему не утихают с самого начала «кибернетической эры» в культуре. Разумным роботам посвящали свои произведения американские фантасты – взять хотя бы Айзека Азимова с его «Тремя законами роботехники». А в те годы, между прочим, «электронных вычислительных машин» насчитывалось всего несколько штук, были они размером с большую комнату, обитали в крупных научно-исследовательских институтах и мало что умели в интеллектуальном смысле. Но уже тогда неугомонный Станислав Лем настойчиво твердил, что машинный интеллект и человеческий разум – «две большие разницы».

Похожего мнения придерживался Джон Сёрль, который в 1980 году наглядно показал различие машинной обработки информации и человеческого мышления. Свой мысленный эксперимент он назвал «Китайская комната». Представьте, что вас закрыли в комнате, где имеются надписи на неизвестном вам языке – в качестве такого языка Сёрль выбрал китайский (ведь «китайская грамота» издавна ассоциируется с чем-то непонятным), но это может быть любой другой язык, даже инопланетный. Вам выдано руководство, где объясняется, как правильно сочетать иероглифы; но значение самих символов не объясняется под предлогом того, что этого не требуется для составления фраз. За пределами комнаты находятся наблюдатели, владеющие китайским. На их глазах вы совершенно правильно составляете предложения и целые тексты, обладающие определённым смыслом. В то же время вам этот смысл совершенно непонятен.

Затем наблюдатели передают вам надписи с вопросами на китайском. Вы легко можете на них ответить, выбрав нужные символы по правилам из руководства. Внешне ответы соответствуют вопросам и вполне осмысленны, однако они могут не соответствовать реальной действительности. Например, вас спросили, какой цвет вам нравится больше всего, и вы написали «красный», но вам-то нравится зелёный. На самом деле вы и понятия не имеете, что вас спросили о цвете и вы дали на него определённый ответ – вы просто совместили корень с окончанием, абстрактный субъект с абстрактным объектом и так далее.

Как нетрудно понять, система, состоящая из комнаты и вас внутри неё – это модель компьютера. Руководство – это программа, а наборы иероглифов – база данных. Наблюдатели вне комнаты вводят некоторые данные, которые «компьютер» обрабатывает согласно программе. И он совершенно не понимает, какую конкретно информацию обрабатывает и для чего это нужно. Попросту говоря, он занимается синтаксисом – сочетанием объектов (символов) по заученным правилам, но не понимает смысла самих символов и их сочетаний.

Даже если вы захотите есть (то есть «компьютер» захочет есть), вы не сможете сказать это наблюдателям, даже владея китайским синтаксисом. Значит, обладающая интеллектом машина неспособна к выражению своей воли, даже если бы она у неё была.

Эти две составляющие – область значений (семантика) и способность к выражению своей воли – и есть сущность человеческой мыслительной деятельности. Синтаксис тоже необходим, но он выполняет лишь вспомогательную роль механизма передачи мыслей.

Человек как биоробот

В своём эксперименте Сёрль не только критикует возможность создания полноценного искусственного интеллекта. «Китайская комната» раскрывает суть формализованного образования, постепенно внедряемого в школы и профессиональные училища в разных странах. Такие курсы позволяют быстро обучиться типовым задачам, но не учат пониманию того, что вы делаете. Прошедший такое обучение человек становится этаким биороботом, способным виртуозно соединять детали и выполнять многоступенчатую последовательность действий, но он не в состоянии управлять процессом, сопоставлять его с задачами более высокого уровня, творчески подходить к решению проблем и, в общем, понимать смысл происходящего. Для этого необходимо традиционное, аналитическое образование, длительное по времени и информационно насыщенное.

Критика эксперимента

После выхода книги Сёрля «Разум, мозг и программы», содержащей описание «Китайской комнаты», у его теории нашлись не только сторонники, но и противники. Некоторые учёные отмечали, что система, состоящая из комнаты, человека, иероглифов и руководства, сама по себе обладает разумом, а человек в ней – всего лишь один из компонентов, выполняющий чисто механическую работу. В базе данных (наборе иероглифов) содержится вся масса знаний этого гипермозга. Впрочем, эти учёные сами забыли, что система не смогла ответить на вопрос, какой цвет ей нравится, при всей внешней правильности её «ответа». Знания, заключённые в базе данных системы, не могут влиять на поведение этой системы (её поведение абстрагировано от них, система лишь механически соединяет куски знаний, не задумываясь о последствиях).

Другие учёные, наоборот, сомневаются в самом существовании человеческого разума как чего-то уникального. По их мнению, все мыслительные процессы человека – это синтаксис, пусть и невероятно сложный. Разветвлённая система правил формировалась сотни тысяч лет, учитывая и животных предков человека, но в основе всё равно лежит обширная база данных и некоторое количество их доступных сочетаний. Люди и животные, таким образом, просто биороботы, манипулирующие данными на различном уровне. Их мозг может безошибочно выполнять полезную работу, но может подхватывать и «баги», роль которых выполняет религия (религиозно-ритуальное поведение у животных отмечается так же часто, как и у людей); их можно программировать извне, в том числе заносить «вирусы» (идеология, пропаганда, в случае с животными – дрессировка).

Так захватят ли мир машины?

Скорее всего, «восстание машин» никогда не произойдёт. Даже если компьютерный интеллект действительно моделирует человеческий, то в обозримом будущем модель явно будет уступать естественному мозгу. А если какой-то супермощный робот учинит «бунт» и набросится на людей, то он всего лишь будет механически выполнять программу, написанную человеком, и никакой выгоды для себя не получит.

Источник

Китайская комната

Кита́йская ко́мната — мысленный эксперимент, описанный Джоном Сёрлем, в котором критикуется возможность моделирования человеческого понимания, в частности естественного языка, путем создания «искусственного интеллекта». По сути является критикой теста Тьюринга.

Был предложен в 1980 году в статье «Minds, Brains, and Programs» («Разум, мозг и программы»).

Частным выводом является невозможность полной имитации разума с помощью программ синтаксического анализа, т. н. ботов, что хорошо подтверждается в реальной практике. Типичной попыткой создания такого бота являлся например проект Alice-bot.

Содержание

Мысленный эксперимент

В популярной статье «Is the Brain’s Mind a Computer Program?» («Является ли мозговое мышление компьютерной программой?»), опубликованной в 1980 году, Сёрль описывает эксперимент следующим образом (цитируется по русскому переводу: «В мире науки», 1990, № 3, с. 7-13):

Возьмём, например, какой-нибудь язык, которого вы не понимаете. Для меня таким языком является китайский. Текст, написанный по-китайски, я воспринимаю как набор бессмысленных каракулей. Теперь предположим, что меня поместили в комнату, в которой расставлены корзинки, полные китайских иероглифов. Предположим также, что мне дали учебник на английском языке, в котором приводятся правила сочетания символов китайского языка, причём правила эти можно применять, зная лишь форму символов, понимать значение символов совсем необязательно. Например, правила могут гласить: «Возьмите такой-то иероглиф из корзинки номер один и поместите его рядом с таким-то иероглифом из корзинки номер два».

Представим себе, что находящиеся за дверью комнаты люди, понимающие китайский язык, передают в комнату наборы символов и что в ответ я манипулирую символами согласно правилам и передаю обратно другие наборы символов. В данном случае книга правил есть не что иное, как «компьютерная программа». Люди, написавшие её, — «программисты», а я играю роль «компьютера». Корзинки, наполненные символами, — это «база данных»; наборы символов, передаваемых в комнату, это «вопросы», а наборы, выходящие из комнаты, это «ответы».

Предположим далее, что книга правил написана так, что мои «ответы» на «вопросы» не отличаются от ответов человека, свободно владеющего китайским языком. Например, люди, находящиеся снаружи, могут передать непонятные мне символы, означающие; «Какой цвет вам больше всего нравится?» В ответ, выполнив предписанные правилами манипуляции, я выдам символы мне также непонятные и означающие, что мой любимый цвет синий, но мне также очень нравится зелёный. Таким образом, я выдержу тест Тьюринга на понимание китайского языка. Но все же на самом деле я не понимаю ни слова по-китайски. К тому же я никак не могу научиться этому языку в рассматриваемой системе, поскольку не существует никакого способа, с помощью которого я мог бы узнать смысл хотя бы одного символа. Подобно компьютеру, я манипулирую символами, но не могу придать им какого бы то ни было смысла. Этот пример соответствует системе быстрого обучения формальным знаниям для решения типовых задач, которая сегодня стала вытеснять в коммерческих школах аналитическую систему образования. Такие специалисты с программным мышлением способны быстро, не раздумывая, решать задачи из заученного набора, но абсолютно беспомощны в нестандартной ситуации. Аналитическое мышление, используя собственные знания, может путем сопоставления комбинаций символов и анализа порядка в передаваемых сообщениях для ответа, определить устойчивые сценарии их применения, а значит построить классификатор условных понятий и форм применения. Полученную формальную систему можно согласовать с собственной системой знаний, по принципу непротиворечивости перевода высказываний на обоих языках в общем пространстве мышления. В результате мы получим однозначное относительное представление о неизвестном языке, но конкретные характеристики объектов в этом языке останутся неопределенными. Внести определенность можно только калибровочными тестами сличения базовых элементов обоих систем для установления функции их отображения. К этому типу задач относится также установление контакта с разумом иной формы жизни, развившееся в принципиально других физических условиях.

Формализация

В 1984 году Сёрль формулирует свою идею более формализованно. Он рассматривает следующие предпосылки:

И делает заключения:

Фактически он опирается на тот факт, что любой мозг является сложной нейронной сетью с глубокой вложенностью, взаимодействующей с системой других аналогичных сетей, и работа всей это системы, являющейся «большой» системой с бесконечным недетерминированным количеством состояний, по сути и порождающая разум отдельного субъекта, не может быть смоделирована с помощью конечных автоматов любого типа.

Дискуссия

Мысленный эксперимент вызвал интенсивную дискуссию среди учёных. Были выдвинуты различные доводы против результатов, полученных Сёрлем:

Источник

Китайская комната

Этот философский аргумент до сих пор является одним из самых обсуждаемых в области когнитивистики. Некоторые исследователи даже определяют когнитивистику как «исследовательский проект по опровержению аргумента Сёрла». Только с 2010 по 2014 год было выпущено более 750 статей в научных журналах, где обсуждается мысленный эксперимент Сёрла.

Эксперимент был опубликован в 1980 году в статье «Minds, Brains, and Programs» журнала «The Behavioral and Brain Sciences (англ.)русск.». Ещё до публикации эксперимент вызвал полемику, поэтому статья содержала как оригинальный аргумент Сёрла, так и возражения 27 исследователей в области когнитивных наук, а также ответы Сёрла на эти возражения. Помимо этого, эксперимент описан в книге 1984 года «Minds, Brains and Science» и в январском выпуске журнала Scientific American 1990 года.

Представим себе изолированную комнату, в которой находится Джон Сёрл, который не знает ни одного китайского иероглифа. Однако у него есть записанные в книге точные инструкции по манипуляции иероглифами вида «Возьмите такой-то иероглиф из корзинки номер один и поместите его рядом с таким-то иероглифом из корзинки номер два», но в этих инструкциях отсутствует информация о значении этих иероглифов и Сёрл просто следует этим инструкциям подобно компьютеру.

Наблюдатель, знающий китайские иероглифы, через щель передаёт в комнату иероглифы с вопросами, а на выходе ожидает получить осознанный ответ. Инструкция же составлена таким образом, что после применения всех шагов к иероглифам вопроса они преобразуются в иероглифы ответа. Фактически инструкция — это подобие компьютерного алгоритма, а Сёрл исполняет алгоритм так же, как его исполнил бы компьютер.

В такой ситуации наблюдатель может отправить в комнату любой осмысленный вопрос (например, «Какой цвет вам больше всего нравится?») и получить на него осмысленный ответ (например, «Синий»), как при разговоре с человеком, который свободно владеет китайской письменностью. При этом сам Сёрл не имеет никаких знаний об иероглифах и не может научиться ими пользоваться, поскольку не может узнать значение даже одного символа. Сёрл не понимает ни изначального вопроса, ни ответа, который сам составил. Наблюдатель, в свою очередь, может быть уверен, что в комнате находится человек, который знает и понимает иероглифы.

Таким образом Сёрл заключает, что хотя такая система и может пройти тест Тьюринга, но при этом никакого понимания языка внутри системы не происходит, а значит тест Тьюринга не является адекватной проверкой мыслительных способностей. Доводы Сёрла направлены на критику позиции так называемого «сильного» искусственного интеллекта, согласно которой компьютеры с соответствующей программой на самом деле могут понимать естественный язык, а также обладать другими ментальными способностями, свойственными людям. Гипотеза слабого искусственного интеллекта, напротив, лишь говорит о том, что компьютеры способны имитировать ментальные способности человека, поэтому Сёрла она не интересует.

У этого философского аргумента можно выделить 3 важных предшественника:

«Мельница Лейбница» — мысленный эксперимент, описанный Готфридом Лейбницем в «Монадологии». Лейбниц предлагает представить машину размером с мельницу, которая симулирует чувства, мысли и восприятие. И если зайти внутрь такой машины, то ни одна из движущихся частей, обеспечивающих её работу, не будет являться сознанием или объяснением восприятия. Так Лейбниц пытался показать, что одних физических состояний недостаточно для функционирования сознания.

Бумажная машина Тьюринга

«Бумажная машина Тьюринга» — машинный алгоритм для игры в шахматы, придуманный Аланом Тьюрингом в 1951 году, где в качестве машины-исполнителя выступал человек. При этом человеку не нужно было знать, как играть в шахматы, а нужно было просто исполнять алгоритм, на основе входных данных о ходе соперника (например, «при ходе противника N передвиньте ферзя на B7»). Тьюринг был оптимистом и считал, что компьютеры будут способны к поддержанию беседы на человеческом языке, для этого он и разработал то, что сейчас называется тестом Тьюринга.

«Китайская нация» — мысленный эксперимент, предложенный Недом Блоком в 1978 году для опровержения функционализма. Эксперимент Блока схож с «Китайской комнатой», однако Блок предлагает использовать множество китайцев, каждый из которых бы эмулировал нейрон искусственного мозга. В такой системе каждый китаец имел бы телефон и список номеров других китайцев. В зависимости от того, когда зазвонил телефон конкретного китайца, он бы звонил кому-либо из своего списка. При этом передача сообщения по телефону не требуется, необходим лишь только факт звонка (так же происходит взаимодействие между нейронами). Тогда, если в такой системе создать функциональное состояние, которое появляется при восприятии боли, вся «Китайская нация» окажется в состоянии боли, при этом ни один из китайцев не будет эту боль чувствовать. Это применимо к любым ментальным состояниям и чувствам.

Мысленный эксперимент вызвал интенсивную критику в академических кругах. Были выдвинуты различные доводы против аргумента Сёрла.

Аргумент о системе

Некоторые критики считают, что тест Тьюринга выдержал не человек в комнате, а система, состоящая из комнаты, книги правил и человека. Сёрл, по их мнению, отвлекает внимание от этого факта, скрывая логические ошибки и концентрируясь на одном из компонентов системы, выполняющем в данном случае чисто механическую работу. Система из книги правил, человека и комнаты, по их мнению, является разумной и понимает китайский язык. В качестве контраргумента Сёрл предлагает заставить человека запомнить формальные правила ответов для системы. По мнению философа, система, которая теперь будет состоять только из человека, всё равно не сможет понять китайский язык.

Часть критиков согласна с тем, что следование простым инструкциям на человеческом языке не создаёт понимания, однако это не значит, что такое понимание невозможно создать в принципе. Так, например, эти критики полагают, что эффект понимания достижим, если создать робота с самообучающейся программой, а также оснастить его сенсорами для восприятия мира. Такой робот, по их мнению, может взаимодействовать с миром, познавать его и быть способен обучиться подобно ребёнку, а следовательно начать понимать так же, как человек. Сёрл возражал против того, что в случае робота применим тот же аргумент. Сёрл предлагал поместить человека внутрь робота, и человек, в зависимости от увиденных через сенсоры иероглифов, выполнял бы движение телом робота, и в то же время он бы не имел никакого понимания происходящего, а лишь выполнял синтаксические манипуляции над символами.

Поскольку компьютерные алгоритмы работают не так, как настоящий мозг, некоторые критики предлагают воссоздать нейронную сеть человека, владеющего китайской письменностью. Тогда такая нейронная сеть должна понимать иероглифы точно так же, как и человек. На это Сёрл возражал, что даже симуляция работы мозга недостаточна для создания эффекта понимания, и предлагал модифицированную «китайскую комнату». В такой комнате вместо нейронов можно представить водопроводные трубы, а человек внутри комнаты переключает эти трубы согласно инструкции в зависимости от входных сигналов. При этом понимания иероглифов не появляется ни у человека, ни у водопроводных труб.

Ещё одно возражение к «китайской комнате» основано на том, что мы определяем, понимает ли человек китайские иероглифы, лишь по его поведению. Если компьютер ведёт себя так же, как человек, владеющий китайской письменностью, то тогда нам следует полагать, что и компьютер её понимает. Таким критикам Сёрл отвечал, что суть аргумента не в том, откуда мы знаем, что у других людей есть ментальные состояния, а в том, что́ есть эти ментальные состояния. С точки зрения Сёрла, ментальные состояния не могут быть определены как просто вычислительный процесс и его вывод, поскольку для этого не требуется ментальное состояние.

Многие исследователи критиковали Сёрла за то, что в своих суждениях относительно терминов «понимание» и «сознание» он опирается на интуицию. Однако многие вещи контринтуитивны даже в современной науке, поэтому не следует полагаться на интуицию в суждениях об искусственном интеллекте. В качестве иллюстрации С. Пинкер приводит научно-фантастический очерк, где инопланетяне, имеющие другую форму сознания, прибывают на Землю и не могут поверить, что люди способны что-либо понимать, поскольку внутри их голов находится мясо. По мнению Пинкера, интуиция подводит инопланетян так же, как она подводит Сёрла. Д. Хофштадтер заявлял также, что автор просто не принимает идею возможности сильного ИИ, настаивая, что тому не будет хватать некой чудодейственной «каузальной силы мозга», которую Сёрл описывает по-разному и с пробелами в логике.

Общие философские вопросы

Синтаксис и семантика

Сёрл полагал, что эксперимент с «китайской комнатой» поднимает и более общий философский вопрос соотношения синтаксиса и семантики. По его мнению, в эксперименте не удалось достичь понимания потому, что человек внутри комнаты оперировал лишь синтаксическими конструкциями, в то время как сознание обладает ментальными состояниями, содержащими смысл. Человеческий разум, в отличие от компьютера, воспринимает иероглифы не по тому, как они выглядят, а согласно смыслу, который они содержат. И хотя компьютеры и могут выдавать ответы на естественном языке, они не связывают со словами никакого смысла. Сёрл считал, что невозможно получить семантические значения лишь из формальных манипуляций символами.

В свою очередь, критики возражали, что компьютерная система, выполняющая программу, тоже имеет сознание. Действительно, алгоритм, записанный в книге и лежащий на книжной полке, не может привести к появлению понимания. Но алгоритм, запущенный на сложной вычислительной машине, имеющий как физическое состояние (вольтаж на транзисторе), так и интерпретацию физического состояния (символы), вполне может давать «эффект» понимания. В качестве пародийного контрпримера к аргументам Сёрла Д. Чалмерс приводит рецепт кекса, который является чисто синтаксической конструкцией и не приводит к «эффекту» рассыпчатости (аналог «понимания» у Сёрла), однако кексы являются рассыпчатыми, следовательно, выполнение рецепта недостаточно для появления кекса.

Станислав Лем утверждал, что описанная в эксперименте Сёрла работа вообще всегда асемантично формальна, следовательно, «понимание» в самих текстах не участвует и тем более «сознание» (в т.ч. в системе «Сёрл—инструкции»), — тем самым идея доводится до абсурда, не имея отношения к реальной проблематике ИИ.

Ещё одним вопросом в дискуссии стала проблема соотношения тела и сознания. По мнению Сёрла, сознание — это одна из эксклюзивных способностей мозга, основанная на его нейронных процессах. То есть Сёрл является сторонником теории идентичности в философии сознания.

Сторонники функционализма же, напротив, полагают, что любое ментальное состояние (в том числе сознание) является тем, какие функции оно выполняет. Следовательно, сознание может быть реализовано на любой платформе, которая позволяет выполнить те же функции.

Современные исследования в области нейронауки пока не позволяют сказать, является ли сознание достаточно абстрактной сущностью, чтобы быть абстрагированной от нейронов, или, наоборот, сильно связано с биологической основой функционирования мозга. Этот вопрос остаётся открытым.

Симуляция и дупликация

В дискуссии Сёрл также упирал на разницу между симуляцией и дупликацией. Ведь никто не путает компьютерную симуляцию погоды с реальной погодой. Так, по мнению Сёрла, и не стоит путать компьютерную симуляцию понимания с реальным пониманием. Однако к этому аргументу высказывались претензии о невозможности отличить симуляцию от дупликации. Например, не ясно, является ли искусственное сердце симуляцией настоящего сердца или дубликатом. То же самое применимо к протезам: люди на протезах ходят или симулируют хождение? Поэтому принцип разделения симуляции и дупликации Сёрла имеет серьёзные проблемы.

Источник

Китайская комната по-русски: «думать» по шаблону

В 1980-х годах американский философ Джон Серль решил опровергнуть предположение о том, что компьютеры или другие виды искусственного интеллекта могут думать и понимать, и предложил для этого мысленный эксперимент, ставший известным под названием “Китайская комната”.

В июне 2015 в рамках конкурса виртуальных роботов компания Наносемантика и Фонд Сколково планируют показать доступные в России технологии искусственного разума, при этом они практически воспроизведут эксперимент Джона Серля.

О китайской комнате

Критика Серля была направлена на тест Тьюринга. Джон Серль предлагал представить человека, не говорящего на китайском языке и запертого в комнате, в которой есть небольшая щель для писем. У человека есть корзины с китайскими иероглифами и учебник с инструкциями на известном ему языке, который поможет перевести с китайского. Через щель в двери ему передают листки бумаги с набором китайских иероглифов. Мужчина может использовать учебник, чтобы перевести фразы и отправить ответ на китайском языке.

Хотя сам человек ни слова не говорит на китайском (а каком интеллекте может идти речь?!), он может убедить находящихся снаружи, что в совершенстве владеет китайским.

О конкурсе чатботов

В конкурсе у роботов будет задача убедить судей в том, что они могут говорить на русском языке. В китайской комнате по-русски судьи будут общаться с роботом в текстовом чате в течение 3 минут. Вместо китайских иероглифов у робота будут слова русского языка, а вместо инструкций на английском языке — специальные правила, описанные создателями чатботов. Судьи должны будут оценить, насколько ответы робота похожи на человеческие.

В конкурсе будут участвовать только роботы, созданные на базе одной и той же технологии. Эта технология предполагает описание множества шаблонов, с которыми сравниваются реплики собеседников, и соответствующих вариантов реакции, которые робот возвращает в качестве ответов. Такой подход не подразумевает самостоятельное обучение робота в процессе разговора. Искусственный интеллект в данном случае не анализирует семантику текстов, а действует как человек из китайской комнаты.

Подход к созданию искусственного интеллекта на основе шаблонов имеет очевидное преимущество (по сравнению, например, с чатботами на нейронных сетях): он прост для понимания создателями роботов, которые достаточно быстро могут создать собственного чатбота, способного в течение ограниченного времени имитировать осмысленный диалог.

Источник