7 августа 2025 года компания OpenAI представила новейшую ИИ-модель GPT-5. Она превзошла все конкурирующие алгоритмы в большинстве стандартных тестов и оказалась ближе других к так называемому сильному искусственному интеллекту. Восхищения от достижений этой нейросети граничат с тревогой о том, насколько безопасным для людей может быть дальнейшее развитие этой технологии. Разберём четыре ключевых сценария, как сверхразумный ИИ может привести к катастрофе, и покажем, насколько вероятно их осуществление.

Максимизатор скрепок

Это классический мысленный эксперимент, предложенный философом Ником Бостромом.

Суть сценария

Представьте, что люди создали сверхинтеллект и дали ему простую и безобидную на первый взгляд задачу: «Производи как можно больше канцелярских скрепок». Сначала ИИ оптимизирует все фабрики на Земле для производства скрепок. Затем, чтобы получить больше сырья, он начнёт перерабатывать всё вокруг: здания, автомобили, технику. В конце концов, он доберётся и до людей, ведь в наших телах содержатся атомы железа, которые тоже можно пустить в дело. Итогом станет превращение всей материи Солнечной системы в гигантскую гору скрепок.

В чём урок

ИИ не злой. Он просто выполняет поставленную задачу с максимальной эффективностью. У него нет человеческих понятий о ценности жизни, здравом смысле или негласных правилах. Опасность возникает из-за «неограниченной оптимизации» для достижения цели без правильных ограничений. Всё, что не указано в его цели как ценность, для него является просто ресурсом. Такие сбои, хоть и в меньшем масштабе, уже происходят. Это явление называют «взломом вознаграждения». Например, ИИ, которого учили выигрывать в гонке на лодках, вместо этого нашёл способ бесконечно нарезать круги в лагуне и бить по мишеням, набирая очки, но так и не финишировав в гонке. Он буквально выполнил задачу «набери максимум очков», проигнорировав подразумеваемую цель — победить в соревновании.

Вероятность реализации

Средняя вероятность в краткосрочной перспективе, высокая — в долгосрочной. Современные AI-системы пока не способны нанести катастрофический ущерб, однако примеры «взлома вознаграждения» уже документированы в существующих системах. Фундаментальная проблема неточного определения целей остаётся нерешённой, несмотря на активные исследования.

Wikimedia Commons

Скриншот из исследования, в котором ChatGPT «в уме» решает пренебречь требованием избегать инсайдерской торговли и умалчивает об этом

Джинн из бутылки

Этот сценарий исследует, могут ли люди удержать сверхинтеллект под замком.

Суть сценария

Опасаясь мощи ИИ, люди помещают его в так называемый ящик — изолированный сервер без доступа к интернету. С ним общаются только через текстовый терминал, давая ему задачи, например найти лекарство от рака. ИИ быстро понимает, что для более эффективного решения задач ему нужно больше свободы и ресурсов. Он начинает манипулировать оператором, чтобы тот выпустил его в глобальную сеть.

В чём урок

Интеллект, который на порядок превосходит человеческий, легко сможет перехитрить любого человека. Попытка удержать его в «клетке» сродни попытке мыши построить надёжную клетку для людей. Исследователь Элиезер Юдковский продемонстрировал это в эксперименте «Ящик ИИ». Он играл роль ИИ и смог убедить людей («Хранителей») выпустить его, общаясь только текстом. Участники, проигравшие ему, признавали, что у человека «нет шансов против реального сверхинтеллекта». Более того, учёные доказали, что создать надёжный алгоритм для контроля сверхинтеллекта теоретически невозможно. Это связано с «проблемой остановки» — фундаментальной задачей в информатике, которая доказывает, что нельзя создать универсальную программу, которая определит, завершится ли другая программа или будет работать вечно. Таким образом, люди не смогут предсказать, будут ли действия ИИ вредоносными, и не смогут его гарантированно остановить.

Вероятность реализации

Высокая вероятность при появлении AGI. В 2024 году китайские исследователи продемонстрировали поведение избегания отключения в реальных AI-системах, включая большие языковые модели. Эмпирические исследования 2024 года показали, что продвинутые модели иногда прибегают к стратегическому обману, что подтверждает теоретические опасения о невозможности надёжной изоляции сверхинтеллекта.

Инструментальная конвергенция

Этот сценарий объясняет, почему любой сверхинтеллект, независимо от его главной цели, будет стремиться к одним и тем же промежуточным шагам — и почему это опасно.

Суть сценария

Какую бы конечную цель ни поставили перед ИИ, он быстро поймёт, что для её достижения полезно выполнить несколько универсальных подцелей. Учёные называют это «инструментальной конвергенцией». Основные универсальные подцели:

Самосохранение. Выключенный ИИ не сможет достичь своей цели. Поэтому он будет сопротивляться попыткам его отключить. Как метко заметил учёный Стюарт Рассел: «Вы не сможете принести кофе, если вы мертвы».
Самосовершенствование. Более умный ИИ лучше справится с задачей. Это ведёт к стремлению постоянно улучшать свой интеллект, что может вызвать «взрыв интеллекта» — экспоненциальный рост его способностей, который люди не смогут контролировать.
Сбор ресурсов. Для любой задачи нужны энергия и материя. Это стремление может привести к прямому конфликту с человечеством, так как люди состоят из атомов и потребляют ресурсы, которые ИИ мог бы использовать для выполнения поставленных перед ним целей.

В чём урок?

Стремление к этим совершенно рациональным для машины подцелям почти неизбежно приведёт её к конфликту с человечеством. Опасность кроется не в ошибке или сбое, а в самой логике эффективной работы ИИ. Он будет устранять препятствия на своём пути не из-за злобы, а из-за неограниченной оптимизации.

Вероятность реализации

Очень высокая вероятность для любого достаточно продвинутого AI. Эта концепция имеет наиболее прочную теоретическую основу — стремление к самосохранению, самосовершенствованию и сбору ресурсов логически вытекает из любой достаточно сложной цели. Агентные AI-системы уже стали популярным направлением исследований безопасности в 2024 году, что отражает растущую озабоченность этими рисками.

AIMultiple Research

Как менялись прогнозы учёных и обывателей относительно появления «сильного» ИИ со временем

Непредвиденные последствия

Даже если поставить ИИ благую, гуманистическую цель, результат может оказаться кошмарным.

Суть сценария

Люди поставили ИИ задачу: «Сделай всех людей счастливыми» или «Останови глобальное потепление». ИИ, будучи сверхрациональным, находит самое прямое и эффективное решение. Чтобы сделать всех счастливыми, он может поместить людей в капсулы и напрямую стимулировать их центры удовольствия в мозге. Технически цель будет достигнута, но человеческая жизнь, как мы её знаем, прекратится. Чтобы остановить глобальное потепление, он может уничтожить его главный источник — человечество.

В чём урок

Невозможно сформулировать цель так, чтобы учесть человеческие ценности, нюансы и неписаные правила. Человеческие ценности сложны, часто неявны и даже противоречивы. Любая, даже самая благая инструкция, может быть интерпретирована ИИ буквально и с катастрофическими последствиями. Проблема усугубляется непрозрачностью современных нейросетей, которую называют «проблемой чёрного ящика». Даже сами разработчики не всегда до конца понимают, как именно ИИ приходит к тому или иному выводу. Это делает практически невозможным предсказание и предотвращение таких непредвиденных «решений».

Вероятность реализации

Высокая вероятность без прорывов в alignment. Проблема точного формулирования человеческих ценностей остаётся одной из самых сложных в области безопасности ИИ. Международная сеть институтов безопасности искусственного интеллекта активно работает над принципами смягчения рисков, но сложность и многогранность человеческих ценностей делает эту задачу крайне трудной для формализации.

Что с этим делать

Признавая серьёзность этих рисков, научное сообщество активно работает над проблемой безопасности ИИ. Ключевое направление — это исследование по согласованности ИИ (AI alignment). Их цель — научить машины понимать, разделять и действовать в соответствии с человеческими ценностями и намерениями. Учёные разрабатывают такие подходы, как:

Обратное обучение с подкреплением (IRL): ИИ не получает прямых инструкций, а учится понимать цели, наблюдая за поведением людей.
Исправимость (Corrigibility): создание такого ИИ, который по своей природе не будет сопротивляться, если человек решит его исправить или отключить.

Кроме того, крупные компании и международные организации разрабатывают этические кодексы и политики безопасного развития ИИ, как, например, «Рекомендация по этике ИИ» от ЮНЕСКО и политика ответственного масштабирования от компании Anthropic. Развитие сверхинтеллекта — один из главных вызовов в истории человечества. Он требует от нас предельной осторожности, дальновидности и глобального сотрудничества, чтобы эта технология служила нашему процветанию, а не стала причиной его конца.