В науке нет консенсуса о том, насколько он безопасен. Теоретические изыскания о контроле сильного общего ИИ говорят об отсутствии способов гарантировать сохранение контроля.

Когда я слышу рассуждения умных людей о контроле сильного ИИ, то невольно задаюсь одним вопросом, на который всё не нахожу ответа. А с чего мы (они) взяли, что мы хотя бы что-то толком контролируем, и хотя бы что-то можем гарантировать?!

Человечество представляется эдаким гигантским организмом, которое в своей экосистемной нише растёт, развивается, эволюционирует (не только в генетическом уже смысле). Оно чем-то похоже на тот безмозглый гриб слизевик, который вполне адекватно воссоздал карту японского метро в чашке Петри. Что контролирует этот гриб?

Мы вон своего гитлера не смогли контролировать, мы между собой не можем договориться и воюем, то есть одной рукой держим другую, чтобы она нам ж по морже не настучала! Какой ИИ мы хотим контролировать при если даже гадить под себя не можем перестать?

Технологии, идеи, мемы на нашей питательной мозговой среде человечества как отдельные формы жизни развиваются сами без нашего контроля. Да и что такое "нашего"? Чьего это - "нашего"? У "Нас" либо нет сознания, либо оно не парится. Можете себе представить, чтобы отдельные нейроны или даже сгустки нейронов в мозгу алкоголика или террориста попытались его образумить и не дать наломать дров? Я не могу.

Я разработчик машинного обучения в области компьютерного зрения. Я посвятил свою карьеру автоматизации, чтобы наша цивилизация могла пользоваться большим количеством благ, прикладывая меньшее количество усилий. Я писал алгоритмы обучения нейросетей, которые позволяют роботам доставщикам замечать детей и объезжать их. Я обучал нейросети ловить мошенников, подделывающих фотографии для банков и для маркетплейсов. Я писал алгоритмы, детектируюшие брак на заводах производства медицинских товаров. И вот как раз на одном из таких заводов я столкнулся с вполне стандартной бюрократией. Бла бла бла, надо думать о безопасности. И таблица, как это правильно делать. Суть таблицы сводилась к тому, что если изменение процесса производства вызывает уровень риска выше, чем 0.01% матожидания смертей в год, то такие изменения не допускаются. Да, при расчёте рисков приходится вводить допустимый уровень риска смерти. Убивать людей нельзя. Рисковать убийством людей - тоже нельзя. Но совсем без рисков обойтись невозможно. И вот этот самый порог расчётного количества смертей определён как 10^-4 в год. Это не только в той организации так, это в целом глобально по всей планете так, порог разный, где-то 10^-3, где-то строже это правило выполняется, где-то менее строго. Во многих странах это закреплено законодательно, например в Британии. Хотите построить гидроэлектростанцию? Перемножьте расчётную вероятность того, что она рухнет, на число людей в области затопления - и если ожидаемое число жертв в год выше 10^-4, то план строительства не будет одобрен - укрепляйте конструкцию. То же самое с атомными реакторами, и прочими конструкциями, создающими риски для населения. Конечно где-то проще закрыть на это глаза, где-то коррупция, где-то дешевле оплатить штраф, но общее направление такое.