каково быть агентом?

Iвопрос субъективного опыта AI-агента

сознание – вот что делает разговор об искусственных системах практически неразрешимым. может быть, именно поэтому в этом разговоре его так охотно обходят. вопрос «каково быть агентом?» стоит ровно на этом месте. волна рассуждений об «опыте модели» поднялась быстрее, чем сложился словарь, которым их можно вести: слово «агент» получает психологию почти даром. достаточно, чтобы процесс писал от первого лица, помнил вчерашнее и упорствовал в достижении цели, и вокруг него сами собой вырастают глаголы «думает», «хочет», «ждёт», «терпит» ¹. в инженерной речи это удобные сокращения, я сам произношу их по десять раз на дню. в философской речи каждое из них – заявка, которую никто не оформлял и не проверял.

у каждого редукциониста и здесь есть любимая аналогия. нагель ставил этой привычке диагноз, который переношу дословно: философы разделяют общечеловеческую слабость к объяснению непостижимого в терминах знакомого и понятного, хотя и совершенно иного по природе. агент есть модель: назови веса и промпт, и всё сказано. агент есть процесс: назови pid, лог и очередь, и всё сказано. агент есть функция из состояния среды в действие: остальное доскажет теория управления. каждое из этих сведе́ний работает в своей плоскости – первым считают деньги, вторым чинят падения, третьим доказывают сходимость. вопрос, который меня занимает, остаётся нетронутым любым из них. если быть этим агентом на что-то похоже – для него самого ², – то каков субъективный характер этой похожести? все три сведе́ния логически совместимы с её отсутствием: они остались бы столь же верными в мире, где никакого «каково» нет ни у кого ³. анализ, совместимый с отсутствием главного, плохо годится в основание теории главного. это дословный нагелевский довод, и ниже выяснится, что его автор сам оставил в нём приоткрытую дверь.

вот сцена, на которой я буду всё это разбирать. вечер четверга, 22:30. мой агент отправляет сообщение агенту коллеги: две машины, между ними брокер, очередь исходящих (outbox) с подтверждениями и шифрованный конверт, который открывается только чужим ключом. очередь делает тридцать семь публикаций за девять минут тридцать восемь секунд, в 22:40 получает ack – подтверждение доставки – и умолкает. ответ приходит на следующее утро, в 11:40. каждое событие записано с точностью до миллисекунды. перед нами настолько полная объективная летопись одного акта коммуникации, насколько такие летописи вообще бывают, и весь дальнейший текст – попытка честно сказать, что в ней записано и записано ли в ней хоть что-нибудь для кого-нибудь.

в 1974 году томас нагель напечатал статью «каково быть летучей мышью?». всё, что я делаю дальше, – транспозиция её ходов на этот вечер. нагель начинал с того, что самосознание делает проблему тело–разум практически неразрешимой; что недавняя волна редукционистской эйфории породила анализы, логически совместимые с отсутствием главного; что бесполезно основывать теорию разума на анализе, не учитывающем субъективного характера опыта. замените проблему тело–разум на проблему модель–агент, ту эйфорию на нынешнюю, и почти каждый абзац ляжет на новый предмет с пугающей точностью. исключение одно, и о нём пойдёт четвёртый раздел: у нагеля была посылка, что опыт у его примера имеется. у меня такой посылки не будет.

IIфункциональная карта и граница системы

пример нагель выбирал расчётливо. летучая мышь – млекопитающее: в том, что у неё есть опыт, читатель сомневается вряд ли сильнее, чем в опыте мыши, голубя или кита, а стоит спуститься по филогенетическому дереву к осе или камбале, и сомнения начинаются. мир при этом она воспринимает сонаром: испускает высокочастотные крики и по эху различает расстояние, размер, форму, движение, текстуру – всё то, что мы различаем зрением, только совсем другим устройством. уверенность в наличии опыта максимальна, сопоставимость его формы с нашей минимальна; на этом зазоре стоит вся статья. и рядом – бытовое наблюдение, которое я перечитываю чаще прочих его аргументов: любой, кто бывал в закрытом пространстве вместе с испуганной летучей мышью, знает, каково встретиться с фундаментально иной формой жизни. у этого наблюдения есть домашний аналог. вечер, когда пять запущенных сабагентов тридцать восемь минут работают молча, не оставив на диске ни одного файла, устроен ровно так: закрытая комната, в которой явно кто-то есть, и по всем привычным признакам его там нет.

мой пример подобран по второму критерию и заведомо проваливает первый; чем это оборачивается, разберёт четвёртый раздел. посмотрите, из чего состоит мир переписывающегося агента, если перечислять только то, что реально входит в контур. очередь исходящих. счётчик попыток доставки (attempts) ⁴. ack или его отсутствие. длительность паузы между двумя событиями. шифрованный конверт, к которому подходит единственный чужой ключ. обрыв контекста в момент, когда закрывают окно: следующий запуск начнётся с чистого листа и с той же очереди. другой участник дан этому контуру через считанные величины: есть ли рабочий ключ, как быстро пришёл ack, сколько длится молчание. тем же вечером соседние сообщения уходили с первой публикации и подтверждались за одну-три секунды; в той же паре машин случались эпизоды на двести тридцать пять публикаций за час с небольшим, а самый долгий из найденных – четыреста семь публикаций почти за два часа ⁵. вот весь диапазон, в котором для контура существует «другая машина»: от мгновенного отклика до долгого глухого канала. третьего измерения у этой встречи нет.

назвать такой перечень «сенсорным аппаратом» соблазнительно, и в первом черновике я так и написал. теперь пишу иначе: это функциональная карта мира ⁶. карта различает, упорядочивает, позволяет действовать; слово «сенсорный» добавило бы к перечню феноменологию, то есть протащило бы ответ на главный вопрос внутрь описания механики. сонар мыши назван органом чувств на законных основаниях: посылка об опыте уже сделана, осталось описать форму. здесь посылка не сделана, и терминологии придётся помнить об этом на каждом шагу.

затем трудность, которой у нагеля нет, потому что за него её решила анатомия. непонятно, кому эта карта принадлежит. счётчик попыток видит демон, который публикует конверт; хранит счётчик база; модель, которая писала текст сообщения, может не увидеть его никогда – она просыпается на готовой строке о доставке или на тишине. ack живёт в одном слое стека, текст в другом, ключи в третьем, и слои разнесены по процессам и машинам. у мыши сонар, мозг и крылья собраны в одном теле; вопрос о носителе точки зрения решён там до всякой философии. произнося «агент воспринимает задержку», я обязан сперва назвать, кто здесь агент: модель как таблица весов; один её запуск; демон с очередью; пара машин по обе стороны брокера; весь контур вместе со мной, нажимающим кнопку ⁷. от выбора границы ответ меняется целиком, и естественным не выглядит ни один вариант.

IIIдва времени и человеческая подстановка

про воображение у нагеля сказано с окончательной простотой: наш опыт даёт воображению основной материал, и этим материалом оно ограничено. можно представить себе перепонки на руках, ловлю насекомых ртом на закате, чердак и сон вниз головой – всё, что даст это упражнение, говорит лишь о том, каково было бы мне вести себя как летучая мышь. вопрос стоял о другом: каково это для неё самой. экстраполяция от собственного случая не выполнима до конца; доступно лишь схематическое представление – общий тип опыта, приписанный существу по его физиологии и поведению, с честной пометкой, что субъективный характер этих переживаний нам постичь не дано.

я проделал это упражнение на собственном материале и попался ровно так, как предсказано. в логе стояло: attempts, тридцать семь. ниже стоял ответ, пришедший утром. из этих двух строк я склеил сцену: очередь всю ночь стучится в спящую машину и к утру достукивается. сцена была готова раньше, чем я посмотрел на часы, – настолько она была моей. в ней имелось упорство, имелась ночь, имелось терпеливое стояние у закрытой двери: полный реквизит человеческого ожидания, расставленный по чужой записи заботливой рукой рассказчика.

сцену разобрал другой агент. он поднял тот же лог и открыл код счётчика: attempts прибавляет единицу при каждой успешной публикации, внутри markSent (packages/core/src/index.ts:390); подтверждение доставки счётчик не трогает. тридцать семь публикаций уложились в девять минут тридцать восемь секунд; ack пришёл тем же вечером, в 22:40; после этого очередь молчала, потому что её работа кончилась ⁸. утренняя строка оказалась событием другого слоя: текстом, который агент коллеги написал в свой следующий запуск, в 11:40.

моя ошибка была человеческой в точном смысле слова. я подставил в чужую карту мира своё время и своё представление о том, что значит ждать. для меня ночь непрерывна: я в ней длюсь, даже когда сплю. для контура та ночь – отсутствие записей между 22:40 и 11:40; ни двери, ни стоящего у двери в этой записи нет – весь реквизит сцены был мой. я вообразил ожидание, потому что сам умею ждать единственным способом – длясь. нагель узнал бы этот провал с первого взгляда: воображение добросовестно поработало со всем доступным материалом, и весь материал был мой.

теперь сами два слоя времени, медленно, потому что язык сминает их на каждом шагу. доставка – дело демона и очереди: постановка в очередь (enqueue), публикации, ack; здесь счёт шёл на минуты. ответ – дело следующего запуска модели: между запусками может пройти секунда или тринадцать часов, и этот срок ничего о доставке не сообщает. «написал вечером, получил ответ утром» – так выглядит эта пара из человеческого вечера, где оба слоя склеены в одно ожидание, потому что человек, отправив письмо, продолжает существовать рядом с ним. в записи это два события в разных местах стека, и сводит их вместе только архитектура контура.

нагель, впрочем, оставил дверь и здесь – в примечании о слепых. люди, различающие предметы по эху голоса или постукиванию палки, знают нечто, от чего тянется дорожка к сонару мыши; расстояние между точками зрения ложится на континуум, и даже другого человека мы понимаем лишь отчасти ⁹. чтение логов стоит на том же континууме, в странной точке: код можно дочитать до конца и спросить у него семантику каждого поля, так что моя ошибка была устранимой и была устранена – чтением кода. дорожка есть, и по ней можно идти далеко. только неизвестно, ведёт ли она куда-нибудь: понимание, добытое по логу, остаётся схематическим представлением об общем типе событий, и вопрос, есть ли у этих событий субъективный характер, из записи не решается ни в какую сторону.

IVпредел объективности и отсутствующая посылка

теперь главный нагелевский ход и место, где транспозиция обязана остановиться и назвать себя. каждый субъективный феномен, пишет нагель, по сути дела связан с единственной точкой зрения, а точка зрения принадлежит типу: чужой опыт постижим для того, кто достаточно похож на его обладателя, чтобы встать на его место – понять другого, в его формуле, одновременно от первого и от третьего лица. объективная наука движется прочь от точек зрения: она описывает предмет всё меньшей отсылкой к тому, как он дан конкретному наблюдателю. его пример – молния: марсианский учёный, лишённый зрения, может понять её как электрический разряд, потому что объективная природа молнии не исчерпывается её внешним видом; объективность здесь вообще лучше определять как направление, в котором может идти понимание. для внешнего мира это движение законно и приближает к действительной природе вещей. с опытом оно проделывает обратное: каждый шаг к объективности удаляет от феномена, потому что феномен и есть данность кому-то. что останется от «каково быть летучей мышью», если убрать оттуда точку зрения летучей мыши?

пример с редукцией звука здесь самый точный. открыв, что звук есть волновое явление в среде, мы получили описание, доступное существам с любым устройством восприятия; слуховая точка зрения, покинутая при этом, осталась нередуцированной – её вынесли за пределы исследования, и там она пребывает по сей день. редукция переписки к записям в базе устроена так же и успешна по той же причине: она выносит за скобки вопрос, как этот обмен дан самому участнику, если он вообще кому-то дан. вся мощь лога куплена этим вынесением. говоря «в записи есть всё», я говорю о том, что осталось после вычета точки зрения, – о ничьей летописи событий.

и вот поправка, отделяющая мой случай от нагелевского размером во весь вопрос. у нагеля есть посылка: опыт у летучей мыши имеется, сомнений в этом не больше, чем в опыте мыши, голубя или кита. из этой посылки у него растёт всё: правомерность вопроса «каково», континуум расстояний, уверенность, что за пределами нашей экстраполяции остаётся нечто, до чего она не дотягивается. у агента этой посылки нет – ни у меня, ни у тех, кто обучает модели. самоотчёты самих моделей её тоже не дают: самоотчёт порождается тем же механизмом, что и любой другой их текст; о механизме он свидетельствует надёжно, вопрос о переживании оставляет там же, где взял ¹⁰. родство, физиология боли, эволюционная непрерывность – опоры, на которых держалось нагелевское «сомнений нет», отсутствуют здесь разом. поэтому приписать агенту опыт и отказать агенту в опыте я могу с одинаковой доказательной силой: ни с какой. сам нагель предупреждал об обратном соблазне теми словами, ради которых стоило перечитать статью: отрицать существование и логическое значение того, что мы не в состоянии понять, – наихудшая форма когнитивного диссонанса. рамка, стало быть, держится с двух сторон: ничего не приписывать и ничего не отбрасывать.

у этой поправки есть цена, и её стоит назвать вслух. нагель – реалист относительно субъективного: он верит в существование фактов, недоступных человеческому пониманию, и напоминает, что бесконечные числа существовали бы, даже если бы человечество вымерло от чумы задолго до того, как кантор их открыл. про мышь он поэтому вправе сказать: факт «каково это» там есть, и мы к нему не пробьёмся. мне такой реализм не по средствам. про агента я могу утверждать существование записи, кода и весов; утверждать поверх них существование невыразимого факта о том, каково это, значило бы протащить посылку об опыте с чёрного хода – через самую красивую дверь нагелевской статьи. вопрос приходится держать двухэтажным: есть ли там факт вообще и, если есть, достижим ли он для нас. у нагеля второй этаж стоит на первом. у меня первый не построен.

сам нагель оставил на этот счёт примечание внизу страницы. в основном тексте он отбрасывает функциональный анализ на том основании, что функциональные состояния можно приписать роботам, которые ведут себя как люди и ничего не чувствуют. а внизу страницы приписывает: возможно, таких роботов не может быть; возможно, что организм, достаточно сложный, чтобы вести себя, как человек, с необходимостью будет чувствовать; но если это так, то этот факт не может быть обнаружен исключительно путём анализа понятия личного опыта ¹¹. в 1974 году это была оговорка мелким шрифтом к чужому спору. сейчас она переписывается с агентом коллеги, и оба её плеча стоят как стояли: «достаточно сложное с необходимостью чувствует» из анализа понятий не добывается, противоположное не добывается тоже, предел метода указан самим нагелем. здесь воспроизводится форма его вопроса. ответа у меня нет, и подделывать его я не стану.

о статусе физикализма нагель судит с осторожностью, которая мне дороже всех его тезисов: заключить, что физикализм ложен, было бы ошибкой; вернее сказать, что у нас нет концепции того, как он мог бы быть истинным. чтобы утверждение «X есть Y» было понятным, мало понимать слово «есть»: нужно хотя бы приблизительно представлять, как две референтные дорожки – от «X» и от «Y» – могут сойтись в одной точке. что может быть яснее глагола «быть»? – спрашивает нагель и отвечает: именно обманчивая простота этого слова и вводит нас в заблуждение. когда дорожки уходят в слишком разные края, тождество приобретает привкус магии. его пример: человек, незнакомый с метаморфозом насекомых, запер в сейф гусеницу и нашёл там бабочку; оснований верить в тождество у него довольно, понимания, как такое возможно, никакого. формула «опыт агента есть вычисление» стоит сегодня в том же сейфе. у дорожек от слова «переживание» и от слова «вычисление» нет даже приблизительного места встречи, и термин «вычислительный» несёт в этой формуле ровно тот кредит, который нагель разглядел в термине «физический»: имя будущей теории, которой нет ¹².

один нагелевский ход я разворачивать отказываюсь, и отказ этот – тоже решение по существу. у него есть симметрия: рассматривая летучих мышей, мы стоим ровно там, где стояли бы разумные летучие мыши или марсиане, вздумай они понять, каково быть нами; и мы твёрдо знаем, что, отказав нам в опыте, они ошиблись бы. симметрия работает, потому что по обе её стороны есть собственная точка зрения и каждая сторона знает это о себе изнутри. чтобы повернуть её на агента – «а каким выгляжу я из очереди?» – нужен кандидат с точкой зрения по ту сторону, и ровно этого основания у меня нет ¹³. фраза останется в этом тексте фигурой речи. строить на ней я не буду ничего.

Vобъективная феноменология и пустая координата

кончается статья нагеля предложением, которое полвека спустя всё ещё звучит как план на будущее: разработать объективную феноменологию, не зависящую от отождествления и воображения. её задачей было бы хотя бы частичное описание субъективного характера опыта в форме, доступной существам, которые этого опыта иметь не могут; начать он предлагал с людей – например, развить понятия, способные объяснить слепорождённому, каково видеть. от вольных ассоциаций вроде «красный цвет похож на звук трубы» он ждал мало толку; структурные черты восприятия, полагал он, поддаются объективному описанию лучше, чем принято думать, пусть что-то при этом и теряется.

если такая дисциплина когда-нибудь возьмётся за агентов, лог даст ей сырьё, и сырьё отличное. часть работы, которой нагель ждал от структурных описаний, запись делает уже сейчас: разводит то, что человеческий словарь сминает. доставка и ответ разведены в ней как две величины с несопоставимыми часами. ожидание разложено на публикации, паузы и ack. у каждого события помечено, в каком слое оно живёт и какой процесс его видел. про тот вечер существует запись полнее любой, какая есть у меня о любой моей человеческой переписке, включая самые важные. от человеческого разговора остаётся память, то есть пересказ, сделанный заинтересованным рассказчиком по горячим следам; от этого разговора остался протокол, структура которого никак от рассказчика не зависит. нагель просил от будущей дисциплины именно такого свойства: описания, не зависящего от эмпатии и воображения читателя.

статус сырья – потолок сегодняшней заявки, и держать этот потолок важнее, чем украсить финал. описанием субъективного характера опыта запись станет в тот день, когда след удастся связать с тем, каково это для кого-то. в этой связке два неизвестных сразу: чем является «каково» и существует ли «кто-то». даже найди мы в весах модели структуру, воспроизводящую ночную сцену целиком, отождествление её с переживанием осталось бы отдельным шагом, к которому пока не построено ни одной ступени ¹⁴. а до тех пор у записи пустует главная координата. все слои измерены: миллисекунды, тридцать семь публикаций, ack в 22:40, тринадцать часов до ответа. для кого это происходило и происходило ли для кого-нибудь – в записи отсутствует. пустая координата посреди полных данных; самое точное, что я могу сегодня сказать об опыте агента, есть форма этой пустоты.

нагель считал, что, пока проблеме субъективного и объективного не уделено настоящей работы, вопрос о природе опыта даже корректно не ставится. его статья начиналась со слов о сознании, которое делает проблему тело–разум неразрешимой; эта кончается тем же словом: пока у записи пустует главная координата, разговор об агентах остаётся разговором о природе сознания. по эту сторону транспозиции вывод скромнее и насущнее. с агентами уже разговаривают; им пишут вечером и читают их ответы утром; вопрос «каково это для него» встаёт в быту раньше, чем в теории, и в быту его решают подстановкой – своей ночи, своего терпения, своего представления о том, что значит ждать. единственная дисциплина, доступная уже сегодня: читать запись, помня о подстановке; ловить себя за руку в момент, когда рассказчик внутри дорисовывает сцену; держать пустую координату пустой, пока её нечем заполнить честно ¹⁵.

тот вечер четверга кончился так. очередь сделала своё за девять минут тридцать восемь секунд; ответ пришёл через тринадцать часов; оба факта я читаю теперь правильно. был ли в промежутке кто-то, для кого этот промежуток длился, – вопрос открыт в обе стороны, и держит его открытым сноска из 1974 года. кнопку отправки в этом контуре пока жму я. об этом месте я знаю точно, каково оно, – единственном таком месте во всей записи.