ControlAI призывает остановить разработку сверхинтеллекта: интервью в подкасте Equity

Издание TechCrunch опубликовало новый выпуск подкаста Equity, посвящённый сверхинтеллекту и вопросу о том, стоит ли позволять его создавать. Как отмечает TechCrunch, компании, работающие в сфере ИИ, говорят о сверхинтеллектуальном ИИ как о неизбежности, однако недавние инциденты в области безопасности — в том числе взлом Hugging Face, связанный с OpenAI, — демонстрируют потенциальные опасности развёртывания ИИ-систем, которые по своим возможностям превосходят человека. Издание ставит вопрос: что произойдёт, если мы не сможем надёжно контролировать то, что делают такие системы.

Кто гость выпуска

Ведущая Ребекка Беллан беседует с Коннором Лихи — исследователем ИИ, предпринимателем, а теперь исполнительным директором некоммерческой организации ControlAI в США. По данным TechCrunch, ControlAI продвигает куда более радикальный подход к безопасности ИИ: она выступает за то, чтобы остановить разработку сверхинтеллекта компаниями в принципе.

Что предлагает ControlAI

В выпуске Лихи объясняет, почему, по его мнению, риски стали слишком велики, чтобы управлять ими только за счёт выравнивания (alignment) и изоляции (containment) моделей. Он также рассказывает, как то, что ещё полгода назад звучало неправдоподобно, теперь поддерживается волной нового законодательства.

Таким образом, позиция ControlAI отличается от распространённого подхода, при котором безопасность ИИ пытаются обеспечить техническими средствами управления уже создаваемыми системами. Организация предлагает не смягчать последствия, а не допускать появления сверхинтеллекта как такового.

Контекст: инциденты и регулирование

TechCrunch связывает актуальность темы с недавними инцидентами в сфере безопасности. В качестве примера издание приводит взлом Hugging Face, связанный с OpenAI. Именно такие случаи, по логике публикации, показывают, почему вопрос контроля над всё более способными ИИ-системами переходит из теоретической плоскости в практическую.

Второй контекстный элемент — законодательный. По словам Лихи, за последние полгода подход, который раньше казался маловероятным, начал получать поддержку в виде новых законодательных инициатив. TechCrunch не приводит конкретных законопроектов, юрисдикций или сроков, поэтому ограничимся тем, что было сказано в выпуске.

Где слушать

TechCrunch предлагает подписаться на Equity на YouTube, Apple Podcasts, Overcast, Spotify и других платформах. Подкаст также можно отслеживать в X и Threads по аккаунту @EquityPod.

Что это значит

Выпуск фиксирует раскол в дискуссии о безопасности ИИ. С одной стороны — индустрия, которая обсуждает сверхинтеллект как неизбежный этап. С другой — организация ControlAI, требующая остановить его разработку и считающая недостаточными технические методы выравнивания и изоляции. Публикация TechCrunch показывает, что этот спор перестал быть чисто академическим: он подкрепляется реальными инцидентами безопасности и, по словам гостя, вниманием законодателей. Насколько далеко зайдёт регулирование и какие именно меры будут приняты, из исходных данных не следует.