Серия «Краткая история интеллекта»

Чтобы ответить на этот вопрос, можно попытаться научить говорить обезьяну. Конечно, пытались. Много раз. Одним из известнейших примеров является Канзи, который научился говорить (на языке жестов) лучше двухлетнего ребёнка и успешно играет в Майнкрафт. В целом, большинство исследователей соглашается, что некоторые человекообразные обезьяны способны овладеть рудиментарной формой языка, но с людьми они, конечно, не могут сравниться. И в любом случае сами они не научаются, их нужно настойчиво тренировать. То есть уникальность человека заключается в том, что он изобретает и использует язык, причём в недостижимой для других животных степени.

Наш язык позволяет нам передавать свои внутренние модели (которые мы называем концепциями, идеями, мыслями) другим. Животные тоже обмениваются сигналами, но эти сигналы жёстко закодированы генами. Эволюционный прорыв речи позволил первым людям учиться не только на основании текущего опыта, как делает нематода. И не только на основании воображаемых действий, как это делает крыса. И не только на основании наблюдения за действиями других, как это делает обезьяна. Мы ещё умеем учиться но основании воображаемых действий других. Передача мыслей обеспечивает кучу разных вещей, в числе которых формирование общих мифов. Это помогает нам координировать поведение многих тысяч, миллионов совершенно незнакомых друг с другом людей. Макака способна кооперироваться с 30 сородичами через прямые отношения. Шимпанзе - с 50. Человек – с 150. Так называемое число Данбара. Но это если общаться напрямую. А если придумать историю, которую будут передавать из уст в уста, то потенциальное число единомышленников бесконечно.

Но сила языка – даже не в мифах, обучении и сотрудничестве. А в процессе передачи, накопления и изменения идей из поколения в поколение. Как и с генами, идеи, которые помогают нам выживать, остаются с нами. Ричард Докинз описал такие идеи, которые назвал мемами. Это потом это слово было экспроприировано в пользу картинок с котами и прочим контентом, а изначальное значение имеет отношение к идеям, прыгающим из одной головы в другую. Нашим богатством поведения и знаний мы обязаны процессу передачи знаний от поколения к поколению.

Мы заточены на эту передачу. Дети – непревзойденные имитаторы. Детёныш шимпанзе тоже повторяет, но отбрасывает ненужное. Человеческий ребёнок повторяет всё в точности, особенно если он не понимает причины действия учителя. Язык помогает ему уплотнить информацию для того, чтобы экономно уложить в мозгу и передать другим. Так что в определённом смысле сингулярность уже наступила в момент, когда мы стали пользоваться языком. С тех пор сложность наших идей пошла вверх. Они давно уже не помещаются в мозг отдельно взятого человека. Наши предки справились с этим эволюционным вызовом, увеличив размер мозга, начав специализироваться с помощью передачи знаний, а также размножившись. А потом ещё изобрели письмо. Главное наше отличие от обезьян – мы объединяем свои мозги.

Естественным желанием исследователя было бы найти часть мозга, которая и отвечает за человеческую речь. Эти части и в самом деле были уже давно локализованы. Люди с повреждениями в этих областях теряют способность говорить или понимать сказанное. Это так называемые зоны Брока и Вернике, находящиеся в левом полушарии. Особенностью этих речевых центров является их селективность не к отдельным компонентам языка, а к языку в целом. Пациент с повреждённым центром Брока не может ни говорить, ни писать. Моторная кора человека имеет уникальную связь с гортанью и голосовыми связками. Но эта связь не снабдила нас языком: общаться можно и жестами. Она, по-видимому, стала побочным продуктом эволюции. Что же касается речевых центров, то их наличие демонстрирует происхождение языка из отдельных регионов мозга, а также независимость языковых способностей от общего уровня интеллекта. В 1995 году исследователи описали человека, лишь с трудом застёгивавшего пуговицы и неспособного научиться игре в шашки, но читающего, пишущего и говорящего на пятнадцати языках. Таким образом, язык – это особое умение, которое эволюция вложила нам в голову.

Однако стоит напомнить, что подобные зоны имеют и шимпанзе. Не они дали нам язык. У обезьян они не имеют ничего общего с общением. Мы же имеем, помимо древнего языка эмоций, ещё и новую языковую систему. Это наглядно иллюстрируется историей пациента, который не мог улыбнуться волевым усилием, но без проблем смеялся на шутки. Жесты макаки не происходят из коры головного мозга. Они автоматичны, в отличие от языка, которому мы все научаемся в детском возрасте. Не успел научиться ребёнком – не научишься вообще.

Таким образом, человеческий язык – это нечто принципиально новое. Он не закодирован генетически, потому что слишком сложен. Птицы тоже учатся летать. Закодировано желание научиться.

Американский лингвист Джефри Элман пытался в девяностых годах предсказывать следующее слово в предложении с помощью нейросети. Он показывал её слово за словом, предложение за предложением в попытке добиться правильного ответа с течением времени. По идее, нейросеть смогла бы когда-нибудь продолжить произвольное предложение. Это не сработало. Пришлось начинать с несложных предложений, постепенно усложняя их. И так – получилось. Так и TD-Gammon училась играть в нарды не с экспертом, а сама с собой, оттачивая своё умение. Вот что значит правильная программа обучения.

И вот она и закодирована в нас генетически. В возрасте четырёх месяцев ребёнок начинает общаться с матерью, отвечая ей звуками, выражением лица, жестами. При этом он соблюдает ритм и даёт матери высказаться. Способность учиться языку – следствие встроенной в нас потребности в разговоре. Детёныши шимпанзе не демонстрируют такого поведения. Когда нам девять месяцев, мы объединяем внимание с матерью, глядя туда, куда она покажет и показывая туда, куда должна посмотреть она. Эти две особенности не нужны для имитационного обучения или построения социальных связей, что прекрасно получается без них. По-видимому, они позволяют нам называть вещи. И формировать таким образом свой словарный запас. Научившись словам, мы выстраиваем их в предложения, и в этом нам помогает грамматика. Ещё одним уникальным закодированным в нас инстинктом является желание задавать вопросы о том, что думает собеседник. Даже Канзи никогда не делал этого.

Новшеством являются не сами зоны Брока и Вернике, а то, как мы их используем. Дети с удалённым левым полушарием мозга всё равно научаются говорить, приспособив для речи правое. У человека нет органа речи, как и у птицы нет органа полёта. Зато есть желание научиться говорить.

На каком-то этапе эволюции, где-то два-три миллиона назад, наш мозг стал увеличиваться усиленными темпами, в конечном итоге мы стали людьми. Что послужило толчком? Учёные смогли реконструировать контуры этой занимательной истории.

10 миллионов лет назад наши общие с шимпанзе предки жили на просторах Африки, обдуваемой с запада на восток влажными ветрами. Но потом тектонические платформы пришли в движение, и в глубине континента стали расти горы, простирающиеся с севера на юг. Сегодня этот регион называется Восточно-Африканская рифтовая долина. Новые горы преградили дорогу океанской влаге (а также и нашим предкам), в результате чего древние обезьяны стали жить в разных условиях. Те, кто были к западу, по-прежнему питались фруктами тропических лесов. Они стали современными шимпанзе. На востоке же лес постепенно стал умирать, давая место саваннам. В саванне мало деревьев, и потому нашим предкам пришлось освоить ходьбу на задних лапах. Так дальше видно, легче бродить по мелководья, а также меньше печёт солнце. Но для прямохождения не нужно иметь большой мозг. Наши предки были, по сути, двуногими шимпанзе.

Два с половиной миллиона лет назад саванна была населена крупными травоядными, а также хищниками, которые на них охотились. Нашим предкам пришлось искать себе экологическую нишу в этом новом мире. Поначалу они стали подъедать то, что оставляли после себя львы с леопардами. Наша диета стала включать до 30% мяса, в отличие от 10% у шимпанзе. Мы знаем об этом образе жизни по остаткам каменных орудий, которые использовались для того, чтобы соскрести остатки мяса с кости или добраться до питательного костного мозга. Прошло ещё полмиллиона лет, и на Земле появился первый представитель семейства Homo: человек прямоходящий.

Homo Erectus уже сидел на вершине пищевой пирамиды, имея в рационе 85% мяса. Он изготавливал более совершенные орудия, имел плечевой пояс, позволявший далеко швыряться камнями, а главное: его мозг был вдвое больше мозга двуногих шимпанзе, живших за миллион лет до него. Уменьшились челюсти и кишечник, что наталкивает на мысль о том, что древний человек уже к тому моменту научился обращаться с огнём и готовить на нём пищу. Это освободило энергию и время. На данный момент мы настолько привыкли к готовке, что фанаты сыроедения постоянно сталкиваются с недостатком энергии, и половина из них становятся временно бесплодными. Рост мозга породил новую проблему: большая голова плода мешала ему продвигаться вперёд во время родов. Решением стало преждевременное появление на свет. Новорожденный телёнок встаёт на ноги уже через несколько часов, нам же для этого требуется целый год. Вдобавок к этому, наш мозг продолжает расти аж до 12 лет, пока он не достигает взрослого размера.

Трудно матери заботиться о беспомощном дитяти. Возможно, именно поэтому люди перешли от беспорядочного спаривания к постоянным партнёрствам. Есть свидетельства активного участия отцов в заботе о детях и постоянных парах уже у человека прямоходящего. Также возникла менопауза, которая освободила бабушек для заботы о внуках.

Вопросом на миллион остаётся умение Homo Erectus говорить. Ещё друг и соратник Дарвина Альфред Уоллес предполагал, что эволюция не может объяснить возникновение речи и резервировал это за богом. Проблему эволюционного обоснования речи и называют с тех пор «проблемой Уоллеса». Эта проблема остаётся предметом споров среди исследователей и на данный момент. Нам неизвестны «промежуточные» люди, которые способны говорить «немножко». Археология говорит нам, что полноценные голосовые связки и гортань появились лишь полмиллиона лет тому назад. Неандертальцы тоже их имели. Самое раннее использование символов и абстракций, как то ношение бус, датировано как минимум сотней тысяч лет. Эти поворотные вехи – всё, на чём базируются многочисленные спекуляции.

Трудно объяснить возникновение языка, если он не приносит пользы конкретной особи, а только группе. Групповая селекция является интуитивным объяснением альтруистического поведения, которому способствует речь. Но эволюция так не работает. Ведь гены спонтанно появляются не в группах, а в отдельных особях. Альтруист не имеет конкретных преимуществ в выживании, живя в группе неальтруистов. Жертвуя собою для других, он повышает их шансы оставить потомство, не свои. Поэтому в животном мире кооперация чаще всего является взаимовыгодной. В этом смысле пятый прорыв стоит особняком: язык приносит пользу не отдельной особи, но всей группе. Альтруизм у животных бывает двух типов: помогают или родне, или на взаимной основе: сегодня ты – мне, а завтра я – тебе. Для второго типа необходимо наказание тех, кто отлынивает от возвращения долга. Что и случается. Человеческий же альтруизм – нечто особенное. Да, мы склонны помогать родне, но иногда достаётся и полностью незнакомым людям. С другой стороны, мы бываем невероятно жестоки и способны на геноцид и ненависть к целым группам чужаков. Эти наши особенности – разные аспекты последнего поворота эволюции, создавшего современного человека.

Может, мы никогда не узнаем, умел ли говорить человек прямоходящий. Но его достижения говорят сами за себя. Трудно добиться такой степени кооперации и координации без языка. Языковое общение могло зародиться в кругу семьи. После этого символами смогли пользоваться и другие. Но здесь мы сталкиваемся с проблемой альтруистов. Как человек смог наказать тех, кто норовит поездить на чужом горбу? Робин Данбар предложил объяснение, которое предполагает сплетни механизмом быстрого и эффективного распространения информации, приводящей к наказанию нарушителей. Он собрал данные и вычислил, что 70% наших разговоров – это болтовня. Она и позволила появиться более высоким уровням альтруизма. Альтруизм имеет, однако, и тёмную сторону: мы инстинктивно делим людей на добрых и злых, цепляемся за свою группу и демонизируем чужаков. С этими новыми чертами характера политический инстинкт превратился из средства продвижения вверх по иерархии в инструмент для завоеваний. Язык, альтруизм и жестокость попали в круг взаимоусиления, что и обусловило их прогресс.

Не все учёные согласны с теорией Данбара. Кто-то выводит язык из логики «ты – мне, я – тебе». Ноам Хомский вообще считает, что язык сначала понадобился для собственного мышления, и только затем был приспособлен для общения. А кто-то вообще выводит язык побочным продуктом ритуального пения.

Обосновавшись на вершине пищевой пирамиды, Homo erectus выбрался из Африки. В 2004 году в Малайском архипелаге нашли остатки представителя карликовой расы Homo floresiensis, с ещё меньшим мозгом. И всё же он смог, по-видимому, построить лодку и добраться на ней до острова Флорес. Вряд ли это было возможно, не умей он говорить. Уменьшившись в размерах, он не поглупел. Он изготавливал столь же совершенные орудия труда, как и Homo erectus. Это ещё один довод в пользу того, что человек силён не столько своим большим мозгом, сколько чем-то уникальным. Например, способности учиться языку.

Новые приложения ИИ, основанные на больших языковых моделях, такие, как ChatGPT, стали широко известны в последнее время. Они предсказывают следующее слово, предложение, абзац. Результаты, конечно, впечатляют. И всё же эти системы не без огрехов. Когда GPT-3 дают решить уравнение 3x + 1 = 3, он выдаёт x = 1. Когда у него спросить, что увидишь, подняв голову вверх, сидя в подвале, он рассказывает о звёздном небе. У него нет того, что мы называем здравым смыслом. Конечно, и человек не без огрехов. У него есть множество когнитивных искажений. Но у человека есть мировоззрение. Он моделирует внешний мир. Поэтому он знает, что зайдя в подвал, неба не увидишь. Далее, у человека есть знание контекста разговора. Он понимает намёки и намерения. Общение между двумя сапиенсами пересыщено ими. Не просто так зона Вернике расположена прямо посередине регионов, которые специализируются на размышлениях. Мы слышим предложение и моментально составляем картину у себя в голове.

На этом автор мог бы и завершить свою книгу, но… в марте 2023 года OpenAI выпустил GPT-4. Новая версия совершенно корректно решает уравнения и видит потолок в подвале. Но не потому, что её снабдили внутренней моделью мира или способностью представлять намерения других. Вместо этого разработчики просто выполнили работу над ошибками, натренировав нейросеть на вопросах, рассчитанных на здравый смысл. При неправильном ответе человек наказывал систему, при правильном – поощрял. Чтобы отвечать на некоторые вопросы, система также может делать пошаговые размышления.

Вот задача: ракетка и мяч стоят в сумме 1,10 долларов. Ракетка стоит на доллар дороже, чем мяч. Сколько стоит мяч? GPT-3 даёт ответ в 10 центов, потому что мяч на доллар дешевле. Но GPT-4 обозначает цену мяча за х, после чего составляет уравнение: х + х + 1 = 1,10 и пошагово его решает, постепенно приходя к правильному ответу в 5 центов.

Натренировав систему рассуждать, её создатели заставили модель проявлять способности мышления без того, чтобы она мыслила. А если и мыслила, то, во всяком случае, не так, как человек. GPT-4 тоже можно завести в тупик каверзными вопросами, но эта история не имеет конца: её потом снова подлатают где нужно, скормив недостающие данные на этапе обучения. Система компенсирует недостаток рассуждения своей огромной памятью. И таким образом, то, что выглядит соображениями здравого смысла, на самом деле имеет больше общего с распознаванием образов на базе огромных объёмов текста.

Несмотря на это, большие языковые модели – это невероятный шаг вперёд. Они раскрывают скрытые связи и особенности мира, который они никогда не видели. Возможно, они превзойдут со временем человека даже на его своём поле здравого смысла и отгадывания чужих намерений. Но без «царя в голове», то есть модели мира и размышлений, им всегда будет не достичь необходимого элемента, присутствующего в человеческом разуме. Для нас язык – лишь окно в нашу внутреннюю модель. Так и языковые модели будут окном во что-то более насыщенное, запредельное.

В ходе своего повествования автор рассказал нам об эволюционных прорывах интеллекта: управления, подкрепления, моделирования, размышления и речи. Каждый из них базировался на предыдущем. История человека базируется на его природной и культурной эволюции, которые продолжаются. Мы всё ещё в начале пути. Мы не знаем, каким будет шестой прорыв, но, похоже, он будет связан с созданием искусственного сверхинтеллекта. Наше потомство будет жить в кремнии, а разум обретёт новую, цифровую основу, на которой он сможет необозримо расширить когнитивные способности. Человек ограничен нейронами своей черепной коробки и мощностью своего тела. Шестой прорыв позволит интеллекту сбросить эти кандалы и масштабироваться настолько, насколько будет нужно. Индивидуальность потеряет чёткие границы, и даже сама эволюция в знакомом нам виде будет оставлена. ИИ будет заново изобретать самого себя. Но он неизбежно будет иметь черты своего создателя: человеческого разума.

На пороге нового прорыва, когда Вселенная передала нам эстафетную палочку, стоит задаться ненаучным вопросом: каковы должны быть цели человечества? Это вопрос не истины, но ценностей. То, как мы на него ответим, повлияет на наше будущее, которого может и не состояться. Чтобы смотреть вперёд, нужно знать миллиарды лет своего эволюционного пути. Чем лучше мы понимаем свой собственный разум, тем легче нам создавать искусственный. Мы возьмём для него только лучшие свои черты и попытаемся их ещё улучшить.

Почему это ИИ непременно должен быть похож на создателя? Потому ли, что человек создаёт его по своему образу и подобию? Можно понять, конечно, что эволюция создаёт рабочие решения. Но ведь задачи у естественного и искусственного интеллектов могут быть разными. Кроме того, пути эволюции извилисты и включают в себя разные подзадачи, которые могут конфликтовать собой. И потому эти рабочие решения гарантированно будут не оптимальными. Не за горами момент, когда ИИ станет оптимизировать самого себя, и тогда образ и подобие оригинального создателя могут безвозвратно уйти в прошлое.

В целом книгу можно назвать поразительным образцом ясного мышления. Чёткое, структурированное, а главное – доступное изложение, повествующее просто о сложном. Что радует – огромное количество иллюстраций, которые автор чаще всего нарисовал сам (или с помощью ИИ?), а не взял где-нибудь ещё. Огромный респект автору, за то, что ввёл нас в курс своей эволюции. И я надеюсь, что это не последняя книга Макса Беннетта. Таким талантом нельзя разбрасываться. Он должен нести свет в массы.

Как видим, он её нашёл, эту корреляцию. Но только у приматов. У других групповых животных её не нашлось. По-видимому, группы у приматов имеют существенную особенность. Жизнь в группе имеет ряд преимуществ: легче заботиться о беспомощном потомстве, отбиваться от хищников. Но всё имеет свою цену: появляется конкуренция в пределах группы за ограниченные ресурсы: пищу и половых партнёров. Пришлось вырабатывать стратегии уменьшения энергетических расходов на соперничество. Олени скрещивают рога, волки показывают зубы. Или поджимают хвост: там, где есть доминирование, не обойтись без подчинения.

Ранние приматы жили в группах с несколькими самцами, организованных по иерархическому принципу. В подобных группах живут и львы, и бегемоты. Но группы у приматов приобрели уникальную особенность: их члены понимали намерения друг друга. Эксперименты показали, что обезьяны имеют представление о том, что другие члены стаи тоже имеют намерения, имеют разум в конечном счёте. Здесь мы приходим к модели психики или теории разума.

Жить в стае – это заботиться друг о друге. Не обязательно на самом деле, можно понарошку. Обезьяны тратят большое количество времени, вычёсывая друг друга. И не кого попало, а тех, с кем хотят иметь дружеские отношения. Группы приматов структурированы на подсети из динамических особых отношений. Обезьяны следят за каждым в своей группе, в том числе за его отношениями. Особое внимание уделяется взаимодействиям, которые нарушают социальную иерархию. В конфликтных ситуациях решает физическая сила, кто бы сомневался. Но не только! Играют роль и сила политическая. Связи. Дружки. Родня. Только у приматов слабый отпрыск могущественной семьи может легко прогнать более крупную взрослую особь. По всей вероятности, способность формировать союзнические отношения является одним из важнейших определяющих факторов положения в иерархии. «Ты – мне, я – тебе» не человек придумал.

Наблюдения за социальным поведением приматов позволяет сделать вывод, что они обладают невероятной степенью политической дальновидности. Они инвестируют в отношения с более сильным, охотнее спариваются с «начальством». Дружат и с теми, кто ниже по рангу, но тогда, когда те могут помочь чем-нибудь. При этом инвестиции часто делаются про запас: сегодня я помог тебе, так что ты у меня в долгу.

Почему такие отношения выработались у приматов? Есть предположение, что на это повлияла фруктовая диета. На дереве можно найти спелый плод до того, как он упал на землю. Помимо калорий, это даёт свободное время: ресурс, который можно потратить на политику. Современные обезьяны тратят до 20% дневного времени на социализацию. Это гораздо больше, чем у других млекопитающих. Началась эволюционная гонка вооружений: выживал и оставлял потомство не только самый сильный, но и самый политически подкованный. А в политике чрезвычайно важно понимать намерения конкурента. Вот вам и теория разума. Разумеется, это понимание требует развития соответствующего физического ресурса. Вот почему у приматов появился такой большой мозг, который коррелирует с размером их группы.

Помимо размера, мозг у приматом отличается и новыми регионами неокортекса, которые можно разделить на две группы. Первая включает в себя gPFC, а вторая – это сенсорный кортекс приматов (PSC). Эти две области сильно взаимосвязаны и составляют отдельную сеть.

Имеются существенные основания предполагать, что gPFC играет ключевую роль в нашей способности проецировать свои мысли и чувства в свои модели прошлого и будущего. Люди с повреждениями в их регионе могут представлять себе сложные сцены, но только без себя. Некоторые даже не узнают себя в зеркале, причём настаивают, что это другой человек. gPFC конструирует объяснение модели, своих желаний, знаний и мыслей. Психологи и философы называют эту модель второго порядка метапознанием: умением мыслить о своих мыслях. И не только о своих. Чем крупнее gPFC у примата – тем выше его положение в социальной иерархии. Это касается и людей, кстати, у которых наблюдается более широкая сеть контактов и лучшие результаты в задачах на понимание намерений других людей. Это позволяет предположить, что новые регионы неокортекса являются вместилищем моделей о себе и окружающих.

Со времён Платона бытует идея о том, что мы понимаем других, ставя себя на их место. Лучшим подтверждением этой теории является возбуждение одних и тех же зон мозга при решение задач на понимание себя и окружающих. Более того, модели себя и других связаны между собой. Каким конкретно образом работает теория разума – мы пока не знаем. Может быть, уникальные для приматов области неокортекса сначала строят генеративную модель собственного разума, а затем используют её для моделирования других разумов. В любом случае, если нам нужен искусственный интеллект, похожий на нас, модель психологического состояния должна быть неотъемлемым её элементом.

Но если приводом для эволюции мозга приматов была политика, почему они тогда так хорошо обращаются с инструментами, выковыривая термитов из норок, например? Почему они так хорошо подражают друг другу? Команда исследователей во главе с Джакомо Риццолатти, изучая механизмы мелкой моторики у макак, обнаружила присутствие в премоторном и моторном неокортексе группу нейронов, которые возбуждаются не только тогда, когда животное выполняло особые движения, но и тогда, когда оно наблюдало, как это делали другие. Эти нейроны назвали зеркальными. Впоследствии их нашли для многих видов поведения. Возможно, это просто ассоциации. Или представление себя на месте другого, который выполняет задачу. Если так, то при любом поводе задуматься о каких-то действиях эти нейроны должны выстреливать. Зачем? Одной из причин может быть необходимость понять намерения других. Одним из подтверждений этой идеи служит неспособность людей, не могущих осуществлять определённые движения, понять мотивы совершений этих действий другими людьми. Если человек с травмой мозга не может чистить зубы, то он также не может указать на других, кто этим занимается.

Тут вовремя снова спросить: зачем? Зачем нам представлять намерения других? Затем, чтобы самому научиться посредством наблюдения! Умственная репетиция улучшает результаты при исполнении. По всей видимости, активация премоторной зоны мозга не только коррелирует с подражательным обучением, но и необходима для неё. Чистить зубы, завязывать галстук, водить машину, ездить на велосипеде – всему этому мы учимся чаще всего не сами, а с помощью других. И не только мы, другие приматы тоже. Способность пользоваться инструментами больше связана с передачей информации, чем с собственным разумом. Достаточно одной обезьяне догадаться воткнуть веточку в термитник, чтобы этим впоследствии занялась вся стая.

Однако учиться способны и котята, глядя, как мать-кошка ходит в лоток. Но приматы, в отличие от других животных, не только перенимают привычки от родителей, но и способны подражать чему-то принципиально новому. Приобретение совершенно новой моторной привычки может потребовать и совершенно новый аппарат. А именно теорию разума, которая обеспечивает возможность активного обучения, сохранения внимания, а также позволяет различать намеренные действия «эксперта» от случайных. Шимпанзе не будет повторять всё подряд, но только то, что ведёт к цели.

Одна из первых систем автономного вождения ALVINN училась методом имитации действий опытного водителя. И у неё неплохо получалось. До тех пор, пока не случалась небольшая ошибка. После этого управление шло вразнос. Проблема была в том, что обучение велось только правильному вождению. Прямое копирование экспертного поведения является слишком хрупким подходом. Для преодоления этой проблемы есть несколько стратегий, две из которых подозрительно напоминают то, как действуют приматы. Первая – имитировать отношения ученика и учителя. При этом методе инструктор, сидящий на параллельном кресле, корректирует ошибки системы, отдавая ей всё больше контроля. Работает прекрасно. Второй подход состоит в том, чтобы система сперва попыталась распознать намерения, кроющиеся за действиями водителя. Систему обучают отгадывать траекторию, по которой собирается двигаться эксперт, чтобы потом учиться ей следовать. Это так называемое обратное обучение с подкреплением тоже демонстрирует впечатляющие результаты.

Теория разума, предназначенная для политики, оказалась приспособлена для имитационного поведения, что обеспечило высокую степень передачи навыков. Вот почему приматы пользуются молотками, а крысы – нет. Однако у гипотезы Данбара есть альтернативы. Одна из них – гипотеза экологического мозга. Питание фруктами вынуждает приматов следить за созреванием всех плодов на большом участке леса с тем, чтобы успеть первым. Продемонстрировано, что и шимпанзе, и бабуины заранее планируют свои миссии и отправляются в дорогу раньше в случае недостатка плодов. Что примечательно: они это делают на сытый желудок, в отличие от других млекопитающих. Запасая орехи на зиму, белка не думает, она действует чисто инстинктивно. Одним из доводов в пользу этой теории служит корреляция между размером мозга и фруктоядностью, которая даже сильнее, чем корреляция с размером группы.

Эксперименты с обезьянами говорят нам о том, что и они способны принимать решения в ожидании будущих потребностей. Шимпанзе заносят солому в клетку до наступления холодов. Орангутанги выбирают инструменты за 14 часов до действия. Механизм принятия подобного решения вряд ли может быть реализован на структурах мозга неприматов, которые осуществляют оценку моментальной, но не будущей валентности. Они задумываются о еде лишь когда голодны. Мы же наполняем свой холодильник заранее. Вероятно, механизм, с помощью которого мы ожидаем будущие потребности, тот же самый, посредством которого мы применяем теорию разума: мы распознаём свои (и чужие) намерения, поставив себя в иную ситуацию, в иные обстоятельства. В пользу этой идеи говорит планирование своих действий приматами, а также то, что люди сходим образом ошибаются в задачах на теорию разума и на предвидение будущих потребностей. Все мы знаем, чем чревато посещение супермаркета на голодный желудок.

Так, со временем, способность обезьяны запланировать завтрашний поход за плодами трансформировалась в долгосрочное планирование у человека. Генеративная модель своего собственного разума стала сутью четвёртого эволюционного прорыва. Она обеспечила теорию разума, подражательное обучение и ожидание будущих потребностей. Эти новые интеллектуальные способности появились в результате постановки новых задач неокортексу, который, как мы знаем, состоит из идентичных нейроколонок-«микросхем».

Как я понял, глагол «обезьянничать» схватывает саму суть имитационного обучения. Мне кажется, гипотеза социального мозга нуждается в дополнительном экспериментальном подтверждении. Ведь планировать своё поведение и бороться за место в иерархии можно в любой стае. Почему тогда обезьяны? Более того, корреляция – это не причинность. Может быть, мозг развился по каким-то другим причинам, например, для необходимости координации движений при лазании, а размер стаи увеличился по причине увеличения мозга, который обеспечил большее число Данбара. То же самое касается гипотезы экологического мозга. Тоже корреляция и тоже наличие задач для решения большим мозгом. Хищники тоже нуждаются в планировании своих действий, которые очень часто скоординированы.

Далее, меня удивил довод, объясняющий большое количество времени на политику калорийностью питания. Приматы – не единственные животные, питающиеся калорийно. Более того, прирост поголовья неизбежно нивелирует преимущество калорийности посредством истощения кормового ресурса. Одним словом, исследователям ещё есть много над чем работать.

Одной из проблем жизни на суше были температурные колебания. Амниоты были холоднокровными животными, и их стратегия была – найти место потеплее. Так делают их потомки из линии рептилий. Они чаще всего замирают на ночь, когда мышцы не могут двигаться, как следует. Однако замершее пресмыкающееся ночью – достойная добыча. Для кого? Для терапсидов, например. Это была другая эволюционная линия, проистекшая из амниотов. Они смогли регулировать температуру своего тела, то есть были теплокровными. Да, это стоило энергии, но зато можно было охотиться по ночам. Это позволило им стать наиболее успешными животными Пермского периода, который начался 300 миллионов лет назад. Некоторые из них были размером с тигра и выглядели, как большие волосатые ящеры.

250 миллионов лет назад случилось ещё одно массовое Пермское вымирание, в результате которого вымерло 96% морской жизни и 70% наземной. Есть много предположений, почему оно случилось: в качестве причин предлагаются вулканизм, астероиды, метанопроизводящие микробы или комбинации нескольких факторов. Никто не знает точно. Но мы имеем представление о последствиях. Крупные терапсиды ушли в историю. Их прожорливость сыграла против них. Более экономичные рептилии удержались. Около пяти миллионов лет жизнь пряталась по крошечным карманам, разбросанным по планете. Линия терапсидов не исчезла, но её представляла всего лишь мелочь вроде цинодонтов, которая пряталась по норам.

Властителями суши стали рептилии, которые возглавили пищевую пирамиду. Чтобы сбежать от хищного ящера, нашим предкам пришлось уменьшиться в размерах вплоть до десятка сантиметров и прятаться днём в норах, выходя на свежий воздух по ночам, когда архозавры малоподвижны и плохо видят. Они стали первыми млекопитающими. В какое-то время этой эры господства динозавров, они развили новую способность, которая помогала им выживать. Это была крупнейшее новшество со времён рыб Кембрийского периода. Они учились не только методом проб и ошибок, но и через воображение. Почему именно они? Возможно, повлияло более совершенное зрение предоставляющее больше данных. А может быть и теплокровие, способствующая нервным процессам. Мозг млекопитающего был быстрее.

От первых хордовых и вплоть до терапсид прогресс мозга был весьма незначителен. Эволюция трудилась над другими органами. Мозг ящерицы мало отличается от мозга рыбы. Но у млекопитающих он уже имеет новую кору (неокортекс). Хоть она невелика по сравнению с сенсорной корой, она стала ядром, из которого развился человеческий разум. Наша новая кора составляет 70% объёма нашего огромного мозга. Толщина её составляет от двух до четырёх миллиметров, а большая площадь (размером с небольшой стол) привела к образованию извилин. В ходе экспериментов выяснилось, что она выполняет сразу множество функций, которые «разбросаны» по её площади.

Один из пионеров электродного исследования активности нейронов коры Вернон Маунткасл обнаружил, что нейроны коры возбуждаются в вертикальных колонках, толщиной в примерно в 500 микрон. Соответственным образом они и соединены чаще всего вертикально. И, наконец, он установил однородность строения всей площади новой коры. Она вся составлена из по сути идентичных неокортикальных колонок. Единственное различие между разными зонами состоит в том, откуда они получают информацию и куда отдают. Это приводит нас к мысли, что участки коры в принципе взаимозаменяемы, что и подтвердилось экспериментально. Это объясняет нам постепенное восстановление функций мозга спустя некоторое время после инсульта. Некоторые пациенты даже снова начинают видеть после того, как ослепли.

Устройство колонки, этой базовой «микросхемы» новой коры можно видеть под микроскопом. Она построена из шести соединённых между собой слоёв нейронов (а не из трёх, как у ранних позвоночных). Пятый слой связан с с базальными ганглиями, таламусом и моторными областями. Четвёртый получает импульсы прямо из таламуса, а шестой отдаёт туда свои импульсы.

Особенности человеческого восприятия проливают свет на то, как работает неокортекс. Во-первых, наш разум заполняет недостающее. Во-вторых, в один момент времени мы держим в уме лишь одну интерпретацию. В-третьих, раз увидев, потом трудно развидеть. Немецкий физик Герман Гельмгольц предположил ещё в девятнадцатом веке, что мы воспринимаем не то, что на самом деле, а лишь виртуальную, сымитированную реальность, которую мы выстраиваем на основе того, что видим. Эта идея и объясняет нам эти особенности восприятия.

На этой идее Джеффри Хинтон со своей командой (в которую входил и Питер Даян, помогший в своё время установить роль дофамина в TD-обучении) попытался построить систему ИИ, которая работает по Гельмгольцу. Его система, которую он назвал «Гельмгольц-машина», была похожа на другие нейронные сети, но имела в своём составе связи, которые шли в обратную сторону: от выходов к входам. Получая снизу рукописные цифры (один нейрон на пиксель), сеть передавала информацию наверх, активизируя выходные нейроны. В этом режиме распознавания работает обычная нейронная сеть. Но у Хинтона был и режим генерации, когда выходные нейроны запускают обратную активацию нейронов нижних слоёв. Процесс повторяется до наступления равновесного состояния с соответствием входа обратному сигналу сверху. При этом никто не объясняет сети, семёрку ей дают или двойку. Она учится сама. И делает это вполне прилично, генерируя то же, что и получает.

Казалось бы, что такого? Однако оказалось, что Гельмгольц-машина сама распознаёт несовершенные образы, прекрасно обобщает информацию, а главное: она генерирует совершенно новые образы. Да, это была одна из первых генеративных моделей. Способность генерации реалистичных новых картин требует от модели понимания сути исходного образа и способов его варьирования.

Дополню то, что не успело войти в книгу: в 2024 году Хинтону за его исследования в области обучения присудили Нобелевскую премию по физике. А могли бы и по медицине дать, в принципе. Ведь свидетельств того, что неокортекс работает сходным образом, много: и особенности восприятия, и симметрия между восприятием и воображением.

Можно представить себе, что те, у кого глаза перестают функционировать, перестают видеть. По факту они видят много. Они галлюцинируют. Этот феномен объясняется в рамках модели Гельмгольца. Некоторые учёные называют нормальное восприятие «сдержанной галлюцинацией». Без сенсорного входа она просто перестаёт быть сдержанной. Также в рамках генеративной модели объясняется наличие у нас сновидений. Они могут служить стабилизацией после дневного потока сенсорной информации через вынужденную генерацию в обратную сторону. Следует отметить, что воображение и распознавание не могут осуществляться одновременно. И там, и там задействованы те же самые нейроны. Поэтому не за горами время, когда мы сможем определять, что снится человеку.

По всей видимости, неокортекс находится в режиме непрерывного предсказания сенсорного входа. Если рефлексные контуры предсказывают рефлексы, а базальные ганглии предсказывают вознаграждение, то новая кора предсказывает окружающий мир посредством его реконструкции. Вполне может быть, оригинальной функцией неокортекса и было моделирование мира, а не распознавание, которое уже имелось.

Модели, возникающие в головах млекопитающих, придали им три новых способности, которые помогли нашим предкам выживать. Во-первых, они стали способны на косвенные пробы и ошибки (vicarious trial and error), когда включается воображение, чтобы представить результаты будущих действий. Опыты на крысах показали ещё в тридцатых годах, что животное останавливается в раздумьи на развилке лабиринта, глядя то в одну, то в другую сторону. Позднее, присоединив электроды к мозгу, удалось буквально увидеть, как крыса представляет себе будущие маршруты. Получив модель внешнего окружения, наши предки смогли мысленно обследовать его для нахождения оптимального маршрута.

Вторая способность состоит в том, что мы учимся на своих ошибках. Без этого невозможно различать причины и следствия. Мы представляем себе альтернативное прошлое и делаем вывод о том, что послужило причиной случившихся событий. Вот вам ещё одно решение проблемы приписывания заслуги. Причинность – конструкция нашего мозга, позволяющая нам учиться на альтернативных сценариях прошлого.

И третье: мы получили эпизодическую память. Но что интересно: и представляя себе будущее, и вспоминая о прошлом, мы их моделируем в своей голове. Это подтверждается тем, что при этом работают те же самые нейроны. Мы не вспоминаем, мы воображаем. Те, кто часто бывают в суде, знают о ненадёжности свидетельских показаний. 77% несправедливо осуждённых стали их жертвой. Большую роль в эпизодической памяти играет гиппокамп. Он отвечает за запоминание, но не за вспоминание уже запомненного. Это потому, что эволюция приспособила его для решения новых задач. Помимо распознавания образов, он стал отвечать и за быстрое запоминание. Однако он не может строить модели. Моделировать может неокортекс, но в свою очередь он не может быстро учиться новым образам. Их взаимодействие даёт нам новое решение проблемы катастрофического забывания: вспоминая параллельно старые и недавние события, гиппокамп помогает неокортексу интегрировать новые события без того, чтобы разрушить память о старых.

Процесс моделирования прошлого и будущего имеет аналоги в системах искусственного интеллекта с подкрепляющим обучением на основе моделей. Эти системы проигрывают возможные сценарии на будущее перед тем, как принимают решение. Это даёт гибкость, но предусматривает решение сложной задачи построения модели. Сложно также и выбрать, что нужно моделировать (так называемая проблема поиска). Поэтому большинство известных алгоритмов ИИ обходится без моделей. Они реагируют немедленно, без раздумий.

С проблемой поиска столкнулись разработчики ИИ-системы AlphaZero при игре в го. Она просчитывала ходы в рамках своей модели, но число вариантов было столь велико, что пришлось выбирать на основе системы приоритетов. Выбирается несколько многообещающих ходов, остальные игнорируются. AlphaGo Zero была первой программой, победившей человека в го. Но не стоит переоценивать её успех. Конечно, го отличается от реального мира во многих отношениях, но не это главное. Главное – это способность мозга млекопитающего изменять подход к планированию в зависимости от ситуации. AlphaZero ищет всегда одинаково.

Новая кора всех млекопитающих состоит из двух половин. Задняя содержит сенсорные области: зрение, слух, соматика. Там воспроизводится модель окружающего мира, будь то через восприятие или моделирование. Но есть ещё фронтальный неокортекс. Он состоит из трёх регионов: моторной коры, а также гранулярной и агранулярной префронтальной коры (gPFC и aPFC). Что интересно: в aPFC отсутствует четвёртый слой нейронов, пока неизвестно почему. Это самый древний фронтальный регион, который есть у всех млекопитающих.

Судя по всему, задачей фронтального неокортекса является управление моделью, а именно принятие решения, когда и что воображать. Крысы с повреждением в этой области больше не задумываются над тем, куда идти на развилке, и всегда выбирает путь наименьшего сопротивления, имеют затруднения с памятью и становятся более импульсивными. Так и люди после инсульта с последствиями в этой области испытывают кризис с намерениями. Им ничего не хочется. По-видимому, фронтальный неокортекс делает то же самое, что и остальная новая кора: он моделирует. Но моделирует не окружающий мир, а свой организм. Его входы соединены не с системами чувств, а с гиппокампом, миндалевидным телом и гипоталамусом. И потому он не объясняет действительность, а вникает в собственные желания. А также пытается их предсказать, объяснить своё поведение. Зачем? Чтобы сделать правильный выбор.

Когда принимаемое решение не очевидно, колонки aPFC находятся в несогласованном между собой состоянии. Предсказания, совершаемые отдельными регионами, противоречат друг другу. По всей видимости, эта неопределённость запускает моделирование. В таких случаях aPFC может запаузить организм посредством прямой связи с базальными ядрами. Крыса застывает на развилке лабиринта.

Затем наступает второй шаг алгоритма: aPFC не просчитывает каждый вариант, а выбирает из тех, что были предсказаны разными колонками. Результаты моделирования этих вариантов явно видны на активности прилегающего сенсорного неокортекса, который в этой ситуации работает синхронно с фронтальным. Возможно, aPFC пытается предсказать, что случится в случае выбора конкретного варианта. А может быть, это базальные ядра определяют варианты для моделирования.

И, наконец, принимается решение. Науке пока известно мало конкретного на этот счёт, но можно предположить, что базальные ядра накапливают все «за» и «против» для отдельных вариантов. Ведь им не привыкать. Выбирается тот вариант, который больше всего возбуждает. Что вызовет большее возбуждение – вода или еда – туда и побежит крыса. Базальные ядра не знают, что моделирует сенсорный неокортекс – фантазию или реальный мир. Всё, что они знают – это если пойти налево, они простимулируются. Этого достаточно.

Если выбор повторяется много-много раз (порядка пятисот), базальные ядра перестают нуждаться в коре для принятия решения. Сигнал от сенсоров автоматически преобразуется в моторный ответ. Формируется привычка. Мы не думаем, куда поставить ногу во время прогулки, как выговаривать слова во время речи. Ну и скроллим ленту в социальных сетях тоже бездумно. Мы экономим время и энергию. Этот дуализм между сознательными решениями и привычными действиями повсюду. Эти две системы (медленная и быстрая) описал Канеман в своём бестселлере «Думай медленно... решай быстро».

В психологии эти два основных поведения называются целенаправленным и привычным. Именно млекопитающие стали первыми животными, которые имеют намерения. Базальные ганглии не имеют цели. Они просто учатся повторять подкреплённое поведение. А вот префронтальная кора имеет цель: сходить к холодильнику или попить воды. Конечным итогом моделирования будущего всегда будет целевое состояние, которое необходимо достигнуть. aPFC конструирует намерение и пытается предсказать поведение, которое приведёт к его реализации. Не играет роли, насколько тернист окажется путь, цель должна быть достигнута. Поэтому мало интересует, насколько соответствует текущее поведение намерениям. Поэтому четвёртый слой нейронов не нужен.

Конструируются же цели на основе выученного через базальные ядра поведения. Они служат для префронтальной коры учителями на первых порах, но по мере развития млекопитающего роли меняются, и уже кора начинает направлять ганглии. Это подтверждается медленной атрофией четвёртого слоя нейронов в aPFC в процессе роста и развития животного.

Функции, приписываемые нейронаукой фронтальному нейрокортексу – планирование, внимание, рабочая память – все они реализованы в aPFC, поскольку являются, в принципе, одним и тем же процессом: попыткой выбрать модель для реализации через убеждение базальных ганглий посредством показа выбора. В результате животное делает более разумный выбор. Оно может выбрать между обдуманным поведением и привычкой. Потому что имеет цель. Ящерица не имеет цели, и потому обречена на вечные пробы и ошибки при выходе из лабиринта. А вот крысу с пути не собьёшь. Она способна подавить врождённые предпочтения.

Помимо aPFC и gPFC, префронтальная кора имеет ещё моторный отдел. Можно было бы себе представить из названия, что он является своеобразным контроллером движения, как предполагали предыдущие поколения исследователей. Но это не так. Карл Фристон придумал альтернативное объяснение: она выдаёт не команды, но предсказания на основе анализа сигналов близлежащей сенсорной коры. Эти предсказания поступают в спинной мозг и контролируют наши движения. Модус операнди – такой же, как и aPFC, только предсказывается не выбор маршрута, а движение отдельных конечностей. Если повредить у кота моторную кору, он не сможет ходить по веткам, аккуратно переступая через препятствия, а также не сможет выучивать новые движения. Это говорит нам о том, что моторная кора изначально занималась планированием, а не управлением движением. Ведь надо выбрать место, куда поставить лапу и представить себе заранее весь процесс. Для уже заученных движений кора не нужна: работает привычка, за которые отвечают базальные ганглии. Идею Фристона подкрепляют экспериментальные данные. Премоторная и моторная кора человека возбуждаются не только при действительном, но и при воображаемом движении. Так, с помощью воображения и планирования, наши предки решили задачу выработки точных движений и научились, например, лазить по деревьям.

Как же это всё работает вместе? Ведь каждый из участков мозга имеет своё целеполагание. Разумеется, цели имеют свою иерархию. На её верху находится aPFC, которая генерирует намерение, например, «попить воды». Эти цели направляются в сопредельные премоторные регионы, которые конструируют подчинённые цели для того, чтобы направить их дальше в моторную кору, которая в свою очередь разбивает их на движения отдельных частей тела. И это эффективно: главнокомандующего не должны интересовать задачи отдельного взвода. Все эти регионы мозга связаны также с базальными ядрами, которые придают автоматизм их функциям. Цель каждого уровня имеет в них «бездумный», но быстрый аналог, работающий автоматически. Повреждение aPFC лишает нас намерений, повреждение моторной коры не даёт нормально двигаться нашим конечностям: нарушена иерархия, и пациент может не двигаться, а может совершать и непроизвольные движения. Ну а повреждение базальных ганглий способно избавить от укоренившихся привычек, полезных или вредных. Например, избавить от наркотической зависимости.

Примерно в одно время с Павловым свои опыты с животными проводил Эдвард Торндайк. Он наблюдал за курами, кошками и собаками, которых помещал в клетки, из которых можно было выбраться, лишь решив определённую задачу: нажать на рычаг, облизнуться или совершить определённую последовательность движений. Торндайк хотел узнать, научаются ли коты посредством имитации. Да, научаются, но не коты, а другие животные. Торндайку не повезло в этом смысле. Зато он обнаружил общий для всех позвоночных механизм обучения. Его кошки учились методом проб и ошибок. С помощью этого метода можно выработать весьма сложное поведение, которое базируется на усилении действий с положительной валентностью и ослаблении – с отрицательной. К обучению с подкреплением способны и рыбы, которые оттачивают свои действия в зависимости от результата. Эта способность и стала вторым эволюционным прорывом.

Первый алгоритм обучения с подкреплением под названием SNARC разработал пионер ИИ Марвин Минский. Его нейронная сеть искала выход из лабиринта, усиливая синапсы, активизированные перед успешным завершением задачи. Работало оно не так, чтобы очень, и тем хуже, чем длиннее лабиринт. Проблема здесь в том, что если для выхода из лабиринта или победы в партии нужно сделать несколько ходов, трудно сказать, какой из этих ходов стал решающим. Проблема приписывания заслуги в чистом виде. Минский пришёл к выводу, что необходима стратегия по приписыванию заслуги во времени. То есть мы имеем дело с временной проблемой приписывания заслуги. Очевидным решением будет подкреплять или ослаблять действия, непосредственно предшествующие победе или поражению. Так работал SNARC, и работал он не очень хорошо, поскольку даже в игре в шашки всё решает далеко не всегда последний ход. Можно подкреплять все ходы в партии, в надежде, что со временем ИИ разберётся, какие ходы были хорошие, а какие плохие. Но и это тоже не будет работать: слишком много вариантов, чтобы решить эту задачу за приемлемое время.

Проблема оставалось нерешённой десятилетиями, пока в 1984 году свой метод временных разниц (temporal difference learning, TD-learning) не предложил Ричард Саттон. Он предложил подкреплять не те ходы, которые приводят к победе, а те, которые повышают её вероятность (по мнению самой системы ИИ). Это позволяет учиться на ходу. Несмотря на интуитивность, эффективность метода не является очевидной. При нём критик зависит от исполнителя, а исполнитель – от критика. Однако по ходу времени они оба учатся, улучшая способности друг друга и приводя систему в состояние совершать весьма разумные решения.

Первым, кто встроил метод Саттона в свою систему был молодой физик Джеральд Тезауро, который учил компьютер играть в нарды. До этого его Neurogammon мог похвастаться лишь средним уровнем игры. Новая программа TD-Gammon училась не на примерах успешной игры людей-корифеев, а методом проб и ошибок, постигая всё своим опытом. И это заработало! TD-Gammon стала игроком мирового уровня. Сегодня метод временных разниц реализован не только в игровых автоматах, но и во многих других программах, включая системы автономного вождения.

Что это было? Лишь одна из удачных придумок или нечто основополагающее? Во втором случае можно надеяться найти нечто подобное и в живой природе. Коллеги Саттона во главе с Питером Даяном стали искать. Они знали, что в этой истории не обошлось без дофамина. Глубоко в мозгу всех позвоночных находится группа дофаминовых нейронов, стимуляция которых заставляет крысу забыть даже о пище. Алкоголь, кокаин, никотин – все работают посредством выброса дофамина. Было ясно, что дофамин обеспечивает подкрепление в обучении, но механизм этого процесса оставался под вопросом. Изначально думали, что этот гормон обеспечивает удовольствие, но мы знаем, что это не так.

Единственным путём добиться ясности было измерить активность дофаминовых нейронов. К восьмидесятым годам появились технические возможности для этого, чем и воспользовался немец Вольфрам Шульц. Он поил обезьян сладкой водой после демонстрации определённых картинок. Оказалось, что на первых порах дофамин выделяется в ответ на вознаграждение. Но в процессе научения дофаминовый скачок перемещается вперёд во времени, на момент демонстрации «сахарной» картинки. Если же после демонстрации уже выученной картинки сладкой воды не доставалось, наблюдался скачок активности дофаминовых нейронов в обратную сторону (при нормальных условиях они щёлкают два раза в секунду). Шульц не мог представить себе, что это значит, если это не сюрприз и не удовольствие.

Три сценария из экспериментов Шульца

В первом сценарии дофамин генерируется сразу после получения неожиданной дозы сахара, во втором – непосредственно после предъявления «сахарной» картинки, а в третьем тоже, но когда обезьяна не получает сахар, она получает негативный скачок дофамина.

И вот здесь десятком лет спустя подключилась команда Даяна. Они выяснили, что дофаминовые скачки Шульца совпадали с TD-сигналами Саттона. Дофаминовые нейроны у обезьяны возбуждаются сигналами предсказания по той причине, что они приводят к увеличению ожидаемого вознаграждения. И наоборот, при отрицательной обратной связи. Совпадение было точным, вплоть до усиления сигналов у тех предсказаний, которые имеют более близкий временной горизонт.

Итак, дофамин – это сигнал не вознаграждения, но подкрепления. Таким образом обучение становится более эффективным, как выяснил Саттон. Эволюция приспособила этот нейромедиатор в качестве сигнала обучения. У позвоночных дофамин совмещает функции желания и подкрепления. Обучение с подкреплением привело к появлению таких знакомых психологических состояний, как расстройство и облегчение. Это есть даже у рыб, которые реагируют на прикосновение после включения света тем, что уплывают в другое место. Так они добиваются облегчения, то есть отсутствия наказания. Это работает и в другую сторону: мы расстраиваемся, когда не получаем ожидаемого вознаграждения. Нематода так не умеет. Как не знает она и счёта времени. В отличие от неё, обезьяна способна отсчитать пять секунд после демонстрации картинки. Что естественно: чувство времени необходимо при обучении с подкреплением.

Реализуется оно с помощью базальных ядер (ганглий), расположенных между корой и таламусом. Они связаны также со средним мозгом, что позволяет реагировать на действия животного и на внешнее окружение. В свою очередь их тормозные нейроны связаны с моторными центрами ствола мозга, модулируя их активацию. Без базальных ядер мы неспособны двигаться, что демонстрируют больные синдромом Паркинсона.

Исследователи определили, что базальные ганглии научаются повторять действия, которые максимизируют выпуск дофамина от дофаминовых нейронов. Почти излишним будет упомянуть, что эта структура мозга есть в наличии и у нас, и у рыб, и у других позвоночных, как есть и гипоталамус, который со своими валентными нейронами (сигналами добра и зла) был унаследован от билатерий. Он и наводняет базальные ядра дофамином, когда ему хорошо. Он говорит нам, когда выиграна шахматная партия, но не когда сделан удачный ход. TD-сигнал же реализуется посредством параллельных цепей внутри базальных ганглий, функции и образ действия которых ещё не до конца изучены. Там и делается предсказание и оценка перспективности сделанного хода.

Мозг позвоночных способен также распознавать образы. Такие важные и сложные вещи, как запах, звук, свет, можно и нужно анализировать более серьёзно, нежели просто определять превышение порога. Для того, чтобы различать разные запахи, нужны тысячи обонятельных нейронов самых разных типов, что можно найти уже у рыбы. Чем больше нейронов – тем больше комбинаций может составить их возбуждение, тем более сложный запах можно идентифицировать. Всё это имеет смысл, конечно, если запаху можно обучиться, а не кодировать его жёстким образом через эволюцию.

Распознать образ нелегко. Ведь перекрывающиеся образы могут задействовать общие группы нейронов. Кроме этого, необходимо отличать похожее от идентичного. В системах технического зрения стандартным подходом является использование нейронных сетей из нескольких слоёв, где путём настраивания весовых коэффициентов для связей между нейронами отдельных слоёв можно добиться соответствия сенсорного входа его интерпретации на выходе. Проблема в том, как найти это верное сочетание коэффициентов. Для этого нейронную сеть обучают. Стандартным методом обучения является демонстрация разных вариантов исходных данных параллельно с готовой их интерпретацией. Машине задают различные комбинации запахов яйца и всякий раз говорят, что это яйцо. Ей заранее сообщают правильный ответ. Она сверяет результат со своим выходом и корректирует, если нужно, свои коэффициенты, начиная с последнего уровня. Сигнал рассогласования проходит, таким образом, в сторону, противоположную ходу сигнала: так называемый метод обратного распространения ошибки (backpropagation).

Подобное обучение с учителем является стандартным методом для систем технического зрения, распознавания речи и автономного вождения. Но биологический мозг работает не так. У него нет учителя, он учится сам.

Обонятельные нейроны рыбы соединяются с трёхслойной корой её мозга. Пирамидальные нейроны слоёв имеют сотни дендритов и получают сигналы от тысяч синапсов. Каждый обонятельный нейрон возбуждает сразу много нейронов коры, но далеко не все. Таким образом картина возбуждения коры для разных запахов будет разной, что обеспечивает возможность различения образа. При этом пирамидальные нейроны соединены и с самими собой, и с многочисленными соседними нейронами в слое. А мы уже знаем, что связи между нейронами усиливаются при синхронной активации. Подобная автоассоциация обеспечивает распознавание похожего образа. Это говорит нам о том, что биологический мозг не извлекает, подобно компьютеру, содержимое из адресованной ячейки памяти, а восстанавливает целый образ из фрагмента. Для него не страшно потерять адрес информации. Но зато можно случайно перезаписать память новым содержимым.

С проблемой катастрофического забывания впервые столкнулись исследователи в институте Джона Хопкинса в конце восьмидесятых. Они пытались научить свою нейронную сеть сложению. У них получилось заставить её прибавлять единицу. Потом – прибавлять двойку. Но при этом их сеть забывала сложение с единицей! В процессе обратного распространения ошибки переписывалась память, ответственная за решение более ранних задач. Как это решается? Да пока никак: приходится замораживать систему ИИ после окончания её обучения. Умный автомобиль учится раз и навсегда. Для нас же верна поговорка: век живи – век учись. Даже рыба справляется с катастрофическим забыванием. Она находит прореху в сети даже спустя год. Как это ей удаётся – мы достоверно не знаем.

А ведь есть ещё проблема инвариантности (неизменности). Мы узнаём образы с разных ракурсов, несмотря на то, что визуальная картинка может быть совершенно иной в каждом отдельном случае. Мы понимаем речь, сказанную разными голосами. Эту проблему изучали в том же институте ещё в пятидесятых годах. Учёные вживляли электроды в различные зоны мозга у кота, чтобы установить активацию участков коры при демонстрации разных картинок. Первой возбуждалась зона V1. Её нейроны оказались удивительно селективны в своём восприятии: они реагировали лишь на линии определённой ориентации в определённой области. Таким образом всё поле зрения оказалось картировано зоной V1. Эти распознанные линии и углы служат входной информацией для соседней зоны коры V2, затем наступает очередь участка V4, и последними возбуждаются нейроны зоны IT. При движении вверх по этой иерархии нейроны каждого уровня реагируют на всё более изощрённые визуальные стимулы: от линий через формы и объекты вплоть до конкретных лиц.

В конце семидесятых японец Кунихико Фукусима бился над проблемой распознавания визуальных образов с помощью нейронных сетей. У него плохо получалось: поверни картинку – и она уже не распознается. Ему были известны результаты вышеописанных исследований, и он решил применить иерархичность обработки и однородность на уровне каждой из зон для своего проекта. Так он изобрёл неокогнитрон – нейронную сеть свёрточного типа (CNN). В нём информация после распознавания на одном из уровней передаётся в сжатом виде на следующий, который отвечает уже за большую площадь распознаваемого образа. Линии и углы сливаются в более сложные формы. Всё, как у млекопитающих. И это работало! Правда, природа всё-таки работает несколько по-другому. Иерархичность у неё не столь чёткая. Она прекрасно распознаёт вращение предмета, в отличие от CNN. И обратного распространения ошибки у неё нет. А главное – она работает и у более простого мозга рыбы, которая тоже распознаёт образы. Как она это делает – никто пока не догадался.

Эволюция органов чувств ускорила эволюцию зон обработки информации, и наоборот. Они постепенно усложнялись с течением времени. Результатом стала кора, чудесным образом решающая задачу распознавания образов. Также не случайной стала параллельная эволюция обучения. Работала положительная обратная связь: чем способнее мозг научаться, тем большую пользу он может извлечь из новой информации.

На волне успеха TD-Gammon Саттона исследователям удалось добиться экспертного уровня в таких «неразрешимых» к тому моменту видеоиграх, как Pinball, Star Gunner или Robotank- Но была игрушка фирмы Атари, которая по-прежнему оставалась непокорённой: Montezuma’s Revenge. Там нужно найти выход, попадая из одной комнаты с препятствиями в другую. Найти решение удалось лишь в 2018 году. Чтобы успешно научиться методом проб и ошибок, надо ведь достаточно часто пробовать.

Более раннее поколение алгоритмов пыталось для этого действовать совершенно случайно в течение определённого процента времени. Но при большом количестве вариантов это не работает. Альтернативным способом стало придание системе любопытства, вознаграждая её за исследование новых мест и испробование новых вещей. Подобный алгоритм стал играть, подобно нам, обшаривая все закоулки в поисках плюшек. Как можно догадаться, оно заработало.

Эффективность алгоритма заставила задуматься и о любознательности как факторе обучения в мозге позвоночных. И действительно: научные данные говорят нам о том, что первые хордовые отличались от своих предков в том числе своим любопытством. Сюрприз даёт нам новую дозу дофамина. Любопытство может объяснить нам привлекательность азартных игр. Игрок знает, что вероятность выигрыша в рулетку у него 48%. Но это не удерживает его от участия. Так и крыса постоянно нажимает на рычаг в ожидании случайного вознаграждения. Так и мы скроллим Инстаграм в поисках чего-нибудь интересного.

Ещё одним отличием позвоночных от остального мира является их уникальная способность построить модель мира. Мы можем найти дорогу к щитку с выбившей пробкой, когда пропал свет. Так и рыба находит корм, ориентируясь по меткам, нанесённым на стены аквариума. В отличие от пчёл и муравьёв, которые неспособны решать пространственные задачи, а просто выучивают свой маршрут. Если посадить муравья, идущего с добычей обратно в муравейник, на выход из него, он начнёт свой цикл по новой, вместо того, чтобы просто развернуться, как это сделала бы рыба. Имеешь карту – должен уметь ориентироваться. Для этого эволюция предоставила в наше распоряжение вестибулярный аппарат, благодаря которому у нас кружится голова на каруселях. Визуальная и вестибулярная информация вместе с сигналом положения головы поступают в среднюю кору позвоночного (которая у нас стала гиппокампом). Там они смешиваются и преобразуются в пространственную карту. Действительно, рыбы с нарушенным гиппокампом перестают запоминать ориентиры. Они могут плыть к объекту или от него, но не могут найти выход из произвольного места лабиринта. То же самое случается с ящерицами и крысами.

Функция и структура гиппокампа достались нам от наших далёких позвоночных предков. Наш гиппокамп имеет нейроны местоположения, которые возбуждаются лишь при нахождении в определённом месте. Быть может, способность нашего мозга распознавать объекты, несмотря на их вращение, связана и с ориентированием в пространстве. Это ориентирование, несомненно, стало огромным преимуществом наших предков в ходе эволюции. Они могли запомнить, где спрятаться, как сбежать и где найти поесть. Также они смогли отличать себя от внешнего мира. В своей модели они представляли себя маленьким пешеходом, ищущим дорогу из пункта А в пункт Б. Но эта внутренняя модель стала основой для дальнейшей эволюции, для очередного прорыва.

У нематоды он состоит всего из 302 нейронов, что несравнимо с человеческими 85 миллиардами. И всё же, несмотря на скромные возможности, этот червь способен на относительно сложное поведение. Главным отличием его образа жизни от более древних животных, тех же кораллов, является, конечно, движение. Нематода ищет и всегда находит пищу, и делает это быстрее, чем, если бы она искала случайным образом. И что интересно: она не идёт напрямую, а приближается, сужая круги. Глаз у неё нет, зато она чувствует запах и его интенсивность. Всё, этого достаточно. Алгоритм прост:

1. Запах усиливается – продолжай движение.
2. Запах ослабевает – поворачивай.

С этой задачей 302 нейрона превосходно справляются. Пилотирование – вот суть первого эволюционного прорыва.

В восьмидесятых годах прошлого века в сообществе разработчиков ИИ образовался раскол. Одни учёные выступали за анализ человеческого мозга для того, чтобы наделить его чертами разрабатываемые системы. Другие, и среди них Родни Брукс из MIT, считали это слишком сложной задачей, и потому нужно начинать с имитации более простых организмов. Нельзя построить Боинг-747 с чистого листа. Брукс оказался первым, кто создал коммерчески окупившийся робот-пылесос Румба. Он, подобно нематоде, обладает простой системой очувствления, подобно нематоде не имеет сложных мозгов. Наконец, он обладает двусторонней симметрией. Навигационная стратегия его отличалась от первых билатерий, но, тем не менее, была так же несложна. Просто, дёшево и работает!

Прорыв пилотирования потребовал от билатерий сортировки окружающих объектов на «добро» и «зло». Румба тоже так делает: для неё препятствия являются злом, а зарядная станция – добром. Говоря научным языком, стимулы стали наделяться валентностью. Сенсорные нейроны нематоды кодируют сигнал привлекательности движения к объекту. Этот сигнал, как мы знаем, усиливается при усилении сенсорного стимула (работает нейронная адаптация). В зависимости от баланса привлекательности, нейроны, направляющие движение, принимают решение продолжать двигаться или повернуть. Путём изменения условий возбуждения валентных нейронов можно получить новые варианты навигационного поведения. Например, сигнал температуры может быть «хорошим» или «плохим» в зависимости от его значения. Для этого у нематоды есть нейроны «слишком жарко» или «слишком холодно», которые возбуждаются лишь при превышении температурного порога в ту или иную сторону.

Проблема возникает при наличии нескольких противоположных стимулов. Как поступать в этом случае? Учёные провели эксперименты с нематодами, и выяснилось, что даже столь простые организмы справляются с задачей выработки компромиссного решения. Возможно, необходимость интеграции сигналов от нескольких каналов и послужила одной из причин формирования мозга у наших предков. Нельзя идти сразу в нескольких направлениях, поэтому нужно принимать решение, рассмотрев все обстоятельства. Нейроны с позитивной валентностью соединены с нейроном, который включает движение вперёд, а негативные – с «поворотным» нейроном. Чем больше сигналов на возбуждение, тем сильнее возбуждаются эти два нейрона, которые, кстати, взаимно тормозят друг друга. Выиграет тот, кто сильнее возбуждён. Он и сделает выбор. Так эволюция приспособила механизм раскрытия рта у полипа для принятия решений у животных с двусторонней симметрией тела.

Следует заметить о ещё одном обстоятельстве. Валентность не объективный параметр, она зависит от внутреннего состояния тела. Если мы голодны, мы не стремимся наесться. Механизм для осуществления этого прост, и он присутствует у всех билатерий. Животные клетки выделяют специальные вещества (гормоны) в ответ на получение энергии. Если энергии не хватают – тоже выделяются, но уже другие. Эти вещества распределяются по телу и представляют собой обобщённый сигнал уровня голода, на который реагируют специальные рецепторы. Эти рецепторы делают нейроны с позитивной валентностью более восприимчивыми к запаху пищи. Так и Румба не будет обращать внимания на сигнал от зарядной станции, пока у неё не сядет батарея.

Двусторонней симметрии, валентности, мозга и модуляции валентности в зависимости от внутреннего состояния уже хватило для пилотирования. Но эволюция шла дальше, и обеспечила нас эмоциями. Эмоциональное возбуждение добавляет новую размерность состояния организма.

Все человеческие культуры имеют подходящие слова для выражения этих комбинаций возбуждения и валентности. Младенцы всех народов смеются и плачут. Даже нематоды имеют аффективные состояния, хоть и в примитивном виде. Её матрица проста: там, где человек расстроен и страдает – нематода стремится сбежать, быстро двигаясь. Человек ликует – нематода медленно движется в процессе эксплуатации. Человек спокоен – сытая нематода неподвижна. Человек подавлен – в стрессе нематода тоже не движется.

Определяющей чертой этих аффективных состояний является их сохранение после исчезновения стимула. Это действительно для любого организма. И это имеет смысл: нужно продолжать искать еду, раз натолкнувшись на неё. Так и пилот сохраняет курс, увидев лишь проблеск в тусклом окне в ночной полёт. Мозг нематоды генерирует аффективные состояния с помощью специальных нейромедиаторов, с дофамином и серотонином в их числе. Нейромедиаторные нейроны работают скрыто, долго и широко и могут направлять активность всего мозга. Именно баланс разных нейромедиаторов и определяет аффективное состояние организма. Дофамин выделяется тогда, когда еда поблизости (состояние эксплуатации), а серотонин – когда она уже поглощена (насыщение). А что выделяется, когда надо сбежать? Адреналин, конечно. Что важно: все эти нейромедиаторные нейроны завязаны также на внутренние состояния организма.

Несмотря на расхожее описание дофамина как гормона удовольствия, он является сигналом не удовольствия, а его предвкушения, что было подтверждено экспериментально. Это имеет смысл: реакция нематоды на дофамин – замедление и поиск еды – является примитивной версией желания. В отличие от дофамина, серотонин снижает реакцию организма. Он успокаивает.

Стимулы негативной валентности включают выделение адреналина, октофамина и других стрессовых нейромедиаторов. Действие их подобно для всех билатерий: бейся или беги! При этом адреналин выключает энергопотребление многих процессов, направляя все ресурсы в мышцы. Сахар вытесняется из клеток, прекращается пищеварение, сдерживается иммунная система. Но так не может продолжаться долго. Поэтому приходится противостоять стрессу выделением специальных гормонов для того, чтобы приготовиться к тому, что будет потом. Например, опиоидов. Они включают обратно замороженные процессы и тормозят нейроны негативной валентности, что поможет отдохнуть и восстановиться после стресса. Некоторые процессы «роскоши», как то функции воспроизводства, будут оставаться подавлены. Но аппетит точно появится. Нематода, лишённая еды на протяжении всего 12 часов, съест в 30 раз больше еды, чем в состоянии обычного голода.

Опиоиды делают всё лучше, они усиливают реакции симпатии и ослабляют реакции неприязни, усиливают удовольствие и ослабляют боль.

Однако если стресса слишком много – мы можем сдаться. Так делает и нематода. И это имеет смысл: в состоянии ожидания консервируется энергия. Точный биохимический механизм хронического стресса недостаточно изучен даже у червей, но, как минимум, в одном отношении он отличается от острого стресса: он отключает возбуждение и мотивацию и включает выработку серотонина, погружая организм в состояние вялой депрессии. Пропадают желания, которые не появляются ещё долгое время после того, как удаётся выкарабкаться из кризисной ситуации.

Нам легче, чем нематодам. Мы можем принять лекарство и хакнуть систему. Однако это чревато возможным злоупотреблением веществами, что в наше время представляет серьёзную опасность для общества.

Зачем понадобились аффекты нашим далёким предкам? Вероятно, выделение нейромедиаторов стало особым ответом на два важнейших вопроса пилотирования: тратить ли энергию на движение или оставаться на месте. Как бы то ни было, впоследствии им пришлось решать более глобальные задачи.

12 декабря 1904 года Иван Петрович Павлов выступал перед шведскими академиками после вручения ему Нобелевской премии за исследования пищеварения. Да, он был физиолог, не психолог. Он изучал работу внутренних органов. Но большая часть его тогдашней речи была посвящена новому открытию: условным рефлексам. «Психическая стимуляция», как он называл их, мешала его исследованиям: его собаки часто начинали исходить слюной ещё до еды. И лишь позднее Иван Петрович пришёл к выводу, что она заслуживает особого внимания. В отличие от врождённых безусловных, условные рефлексы приобретаются и требуют ассоциации. Но, как и с безусловными, организм реагирует автоматически: собака не может не выделять желудочный сок, как и солдат, вернувшийся с войны, не может не пригнуться, услышав звук летящей мины.

Этот автоматизм заставил исследователей задуматься о более древней природе обучения и памяти. Для того, чтобы научиться, не нужны структуры мозга, появившиеся в позднем ходе эволюции. Даже нематода, которую заставили поголодать в солёной воде, избегает её впоследствии. Это говорит о том, что мозг, созданный для контроля движения, сразу оказался под эволюционным давлением. Ему потребовалось включить опыт в принятие решений.

В настоящий момент подавляющее большинство систем искусственного интеллекта не учатся непрерывно. Их обучают, после чего отправляют работать. Биологический мозг учится всегда. У наших предков не было иного выбора. Поэтому условный рефлекс может быть приобретён, но может быть и утерян. Если звонить и не кормить после этого, собака Павлова постепенно перестанет реагировать на звонок слюновыделением. Наступает истощение рефлекса. Однако стоит снова покормить раз-другой после звонка – и старый рефлекс быстро вернётся в процессе спонтанного восстановления. Эволюционно имеет смысл быстро вспомнить об ассоциации, чтобы быстрее отреагировать: причинные связи не всегда стопроцентно вероятны. Вот она, древняя память!

Но есть одна проблема: мы очень часто не можем быть уверены в причине наступившего события. Сенсорных стимулов много, и какой из них послужил настоящим предсказателем? В машинном обучении это назвали проблемой приписывания заслуги. Древний мозг животных с двусторонней симметрией выработал четыре простых, но эффективных средства её решения. Во-первых, он смотрит на предсказательный сигнал, непосредственно предшествовавший событию (за секунду до него, например). Во-вторых, берётся самый сильный сигнал. В-третьих, играет роль новизна информации. И в-четвёртых, если ассоциация установлена, то все остальные сигналы игнорируются. Так работает и наш супермозг, и примитивный мозг червя. Да, это не всегда работает оптимально. Но весьма часто. С ходом эволюции мозг разработал более сложные стратегии решения проблемы приписывания заслуги. Но об этом будет рассказано потом.

А пока осталось упомянуть о том, что современные исследования позволили пролить свет на природу обучения. Когда мозг учится, синапсы изменяют свою силу. Или же образуются новые синапсы. Или удаляются старые синапсы. Если связь слабая, то входной нейрон должен намного чаще выстреливать, чтобы активизировать выходной. При сильной связи может хватить даже нескольких активаций входа. Синапсы имеют несколько древних механизмов для усиления или ослабления связи. Например, связь усиливается при синхронной активации. Это установил ещё Дональд Хебб в сороковых годах прошлого столетия.

Как видим, способность нашего мозга изменять свои связи была унаследована нами от далёкого предка, жившего свыше 550 миллионов лет назад. Всё, что развилось потом, базируется на этой основе. Обучение не было главной задачей первого мозга. Он был заточен на управление движением. Но эта его фича оказалась трансформирована впоследствии, став основной функцией.

Фазиль Искандер давно подметил, что ожидание праздника – это уже праздник. Будем знать: предновогоднее настроение – это дофамин. А просмотр «Голубого огонька» – это уже серотонин.

На этом материале можно было бы сделать хороший выпуск КОАПП, и не один. Раньше, когда речь заходила о бионике, в голову приходили птичьи крылья или уши медузы. А сегодня она прочно связана, прежде всего, с кибернетикой. Потому что она сейчас бурно развивается. И будет оставаться на переднем крае науки ещё долгое время. Я на это надеюсь.