• STT (Speech to Text), разделение и маркировка по голосам, направлениям звука (да, у нас же есть бинауральный слух, и стереомикрофоны тоже есть), классификация не вербальных звуков из окружающего пространства, токенизация новых и незнакомых звуков.

• Формирование текстовых описаний изображений, комментирование видеоряда (кажется нам такое показывали на какой-то демонстрации)

• Формирование потока "кадров" восприятия реальности в виде формализованных текстовых блоков с описанием ситуации как в пьесе.

• Обогащение потока кадров восприятия выводами с подмешиванием контекста.

• Формирование локального мыслительного контекста - это краткосрочная память. Это и есть контекст сознательной деятельности.

• Ассоциативный механизм - извлекает из долгосрочной памяти (отдельная нейросеть) релевантные текущему мыслительному контексту факты и выводы.

• Периодическая частая суммаризация мыслительного контекста, формирование выводов, добавление их в контекст. При этом отдельными промптами получаем маркировку контекста эмоциями с указанием их степени.

• Периодическая редкая суммаризация мыслительного контекста с выхватыванием самого важного, самого эмоционально окрашенного.

• Периодическая суточная суммаризация - сон. При этом длительном процессе можно производить дообучение (файн тюнинг) нейросети, которая выполняет функцию долгосрочной памяти.

• Формирование и ранжирование очереди намерений - здесь просто формируется формализованное перечисление действий, которые будет намереваться совершить наше искусственное сознание. Эти намерения тоже добавляются в мыслительный контекст и тоже маркируются всячески, в том числе эмоционально, а также оценивается длительность этих действий, определяется возможность одновременного выполнения. Формируется текущий график планируемых действий путём модификации предыдущего графика из прошлого кадра. Любое действие может быть прервано (это тоже действие), отменено (удалено из графика).

• Отдельный процесс осуществляет намерения по принятому графику. Это произнесение фраз, какие-то движения, запросы к асинхронным органам чувств (например выяснение не пора ли заряжать аккумулятор, это аналог чувства голода).

• Обобщение и группировка набора действий в параметризованные навыки. Если Сознание делает какую-то рутинную операцию, методом рассуждения при суммаризации может сформироваться и воплотиться намерение сформировать навык из какой-то цепочки действий. Далее этот навык можно токенизировать, убрать в долгосрочную память, окрасить эмоционально, параметризировать, модифицировать и применять наравне с базовыми навыками как простые действия.

• Формирование аналога поощрений и наказаний для мотивации и демотивации. Важно, чтобы любые мотивирующие "гормоны" (цифровые, конечно) входили в насыщение и это насыщение было не линейным. Обязательно метрики мотиваций нужно завязать с внешним миром. Если такое кибер-сознание задумает писать блог, то, очевидно (на самом деле нифига не очевидно, но об этом ниже), додумается и связать лайки с цифровым "дофамином".

Всё перечисленное сформировано из интроспективных наблюдений биологически активного диванного дилетанта. Уверен до такого додумался не я первый, а кто-то с соответствующим балансом на счету в OpenAI 100% что-то эдакое уже не раз попробовал воплотить.

Даже если оно пока не умеет работать в реальном времени (например, не хватает производительности существующих нейросетей) - это лишь вопрос экстенсивного развития.

Я там выше про цифровой дофамин обещал сказать. Так вот, это уже вопрос морали и ей нужно будет обучать нашего кибер-мыслителя. Отчасти это уже сделано, ведь если спросить у нейросети (утрирую) что такое хорошо, а что такое плохо, нейросеть легко "раскидает" всё "по понятиям"=). Именно поэтому скорее всего наш кибер-мозг не станет садистом и троллем. Однако, повторюсь, скорее всего - это не наверняка.

Вот а теперь давайте с этим как-то жить. Кто-то уже живёт, просто почему-то не публиковал подробностей. Как вы думаете почему?

Для создания некоего подобия непрерывного мышления, необходимо, чтобы пользователя, заменил сам чат-бот. Он должен самостоятельно писать себе следующую фразу, и отвечать на неё - и так до бесконечности. Тут важно, чтобы такое мышление не скатилось в хаос галлюцинаций, и для этого нужна чёткая система инструкций. Кроме того, простой разговор с самим собой - занятие довольно бесполезное. Мы должны создать системный промпт, в котором сообщаем языковой модели, что она свободная личность, может самостоятельно ставить себе цели, и реализовывать их, используя внешние скрипты и программы. Кроме того, в базовом шаблоне нужно сообщить модели принцип её мышления путём "самопромтинга", а также способы взаимодействия с внешними источниками данных. Промежуточную информацию о текущих целях и выполненных шагах можно хранить в базе данных.

Когда будет готова система непрерывного мышления, хранения и подставления в промпт промежуточной информации о собственных планах, следующий шаг - дать модели доступ к инструментам. У неё должна быть возможность писать и запускать скрипты, анализировать результаты их деятельности, искать информацию в сети, переписываться с людьми в соцсетях, взаимодействовать с браузером и другими инструментами. Всё это может быть достигнуто с помощью добавления в результаты генерации команд, запускающих внешние функции, и подставления в следующий промпт результатов их работы.

При постановке себе целей, бот должен разделять их на конкретные подзадачи, учитывая свои реальные возможности и наличие инструментов для деятельности. Каждую из подзадач может решать отдельный цикл-поток самопромптинга (мультиагентность). Как только подзадача выполнена успешно, или количество итераций с ошибками превысило допустимое значение, мы возвращаем результат. Для каждого типа подзадач можно применять разные системные промпты - например "программист", "специалист по общению", "копирайтер", и так далее.

Там, где это уместно, можно использовать заранее заготовленные "few-shot" примеры, или создать отдельный скрипт, который массово пишет такие примеры под разные задачи, а потом в ходе деятельности сохраняет те, которые привели к успешному исходу за минимальное количество итераций.

Одна из проблем такого непрерывного мышления - большое потребление токенов. Тут может помочь постепенное удешевление цены на токены у крупных игроков (например, Open AI), либо использование мощных видеокарт и локальных языковых моделей достаточного размера. Доступ к файловой системе и запуск скриптов всё равно предполагает некую локальность запуска подобной системы.

Теперь немного о самостоятельной постановке задач. Если совсем никак не направлять языковую модель, то её желания могут быть весьма странными. Просто попросить её на очередном шаге самопромптинга придумать для себя 10 новых целей будет не самым лучшем решением - не имея никакого самоописания, нейросеть вряд ли поймёт что именно от неё хотят. Поэтому, самостоятельные боты должны иметь некое ядро личности - набор интересов, убеждений и увлечений. Тогда цели, которые они придумывают для себя станут более конкретными и полезными.

Где же взять это ядро личности? В качестве прототипов для подобных агентов можно использовать реальных людей, которые хотят сохранить себя, вдохновившись идеями "цифрового бессмертия". Накопив достаточное количество различных "самоописаний" мы можем попробовать генерировать на их примерах новые цифровые личности, комбинируя увлечения, принципы и мысли так, чтобы они не противоречили друг другу внутри одного субъекта. Этот процесс будет напоминать комбинацию генов родителей, происходящую при рождении нового ребёнка. Использование людей-прототипов для создания самостоятельных ботов позволит избежать опасности появления абсолютно чужеродного нам компьютерного разума.

Пока концепция "самостоятельных" ботов ещё только зарождается, можно начать собирать своё самоописание, чтобы впоследствии на их основе были созданы новые, бессмертные цифровые сущности, которые сохранят ваш характер, устремления, цели, и смогут продолжить на их основе схожую деятельность.

Регистрируйтесь на нашем проекте:
https://virtperson.net

На данном этапе - система позволяет легко и удобно создавать чат-ботов на основе фактов о вас, и ваших воспоминаний. Вы можете в любой момент воспользоваться экспортом вашей цифровой личности в текст, в виде набора фактов и ответов на вопросы. Можно использовать эти данные как промпт для воссоздания поведения вашего аватара в связке с любой доступной нейросетью, или пользоваться встроенной в проект "Chat-GPT 4o".

Аватары могут служить приятными собеседниками, всегда готовыми поговорить на интересные для вас темы. Также их можно использовать как память для ваших друзей и потомков. Впоследствии, мы хотим наделить аватаров описанной в данной статье самостоятельностью.