ОтветыОпубликовано19 источники
Три сценария для управления сверхразумом, о которых говорил Сэм Альтман
По сообщениям, Альтман изложил три возможных сценария: международный надзор за ИИ, объединение ведущих лабораторий в общую структуру или доминирование одного разработчика, способного перекрыть соперникам доступ к вычи...
ОпубликовалОтредактировано с помощью GPT-6 LunaИзображения созданы с помощью GPT Image 2
Ответ на исследование
Ключевые выводы
- По сообщениям, Альтман изложил три возможных сценария: международный надзор за ИИ, объединение ведущих лабораторий в общую структуру или доминирование одного разработчика, способного перекрыть соперникам доступ к вычи...
Промпт ИИ
openai.comCreate a landscape editorial hero image for this Studio Global article: What did Sam Altman reportedly tell OpenAI employees about three possible superintelligence endgames—an IAEA-style international watchdog en. Article summary: Altman reportedly presented OpenAI employees with three possible ways to govern superintelligence: international oversight, consolidation of the major labs, or unilateral dominance by one developer; he favored the first . Topic tags: general, general web, user generated, news. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts w
Сэм Альтман, как сообщается, представил сотрудникам OpenAI три возможных сценария управления развитием сверхразума: международный надзор, общую организацию для ведущих ИИ-лабораторий или ситуацию, в которой один разработчик получает достаточно власти, чтобы остановить конкурентов. По данным СМИ, Альтман склонялся к международному надзору, а третий вариант назвал ужасным. Речь шла о возможных сценариях, а не об утверждённых политиках OpenAI. 1
4
6
Три сценария
1. Международный надзорный орган
Первый вариант — создать международную структуру по образцу МАГАТЭ, Международного агентства по атомной энергии. Она могла бы устанавливать или обеспечивать соблюдение стандартов безопасности ИИ. В сообщениях об этой идее говорится о надзоре за передовыми системами, в том числе об инспекциях или аудитах. 1
4
6
Однако доступные публикации не описывают полномочия такой структуры как законченный план. В частности, они не подтверждают все детали, которые иногда связывают с этим предложением, например мониторинг потребления вычислительных мощностей и энергии. Нет и достаточных оснований утверждать, что внутреннее обсуждение было прямым продолжением конкретного предложения, опубликованного в мае 2023 года.
2. «План Демиса»
Второй вариант, названный «планом Демиса», предполагает объединение ведущих ИИ-лабораторий в организацию по образцу ЦЕРНа — Европейской организации по ядерным исследованиям, — либо их работу под эгидой общего органа. Название отсылает к Демису Хассабису, руководителю Google DeepMind. Журналист Амир Эфрати связал эту идею с предложением, которое, по его словам, обсуждалось примерно в 2017 году. 5
23
Согласно одному из описаний, такая организация могла бы предоставлять модели странам, участвующим в сотрудничестве. 5 Основной замысел — координация через общую структуру управления или владения вместо конкуренции между отдельными лабораториями.
3. «План Элиезера»
Третий сценарий назван в честь исследователя безопасности ИИ Элиезера Юдковского. В версии, которую связывают с обсуждением Альтмана, один разработчик благодаря самоулучшающемуся ИИ получает решающее преимущество, а затем использует возникшую мощь, чтобы ограничить соперникам доступ к вычислительным ресурсам. Этот образ описывают фразой «расплавить все чужие GPU» — то есть вывести из игры вычислительную инфраструктуру конкурентов, а не буквально расплавить чипы. По сообщениям СМИ, Альтман отверг такой исход. 3
5
6
Что означает гипотеза Юдковского — и чего она не означает
Название может смешивать две разные идеи. В пересказах текста Юдковского 2022 года говорится о «решающем действии»: согласованный с человеческими целями общий искусственный интеллект должен помешать другим создать несогласованный с ними ИИ. 7
10 Это не то же самое, что компания использует своё преимущество, чтобы установить господство над конкурирующими разработчиками.
Отдельная публикация сообщает, что позднее Юдковский пояснил: пример с «сожжением всех GPU» не был предложением к действию. 34 Доступные источники не содержат его ответа целиком, поэтому восстановить все оговорки нельзя. Главное подтверждаемое различие — между гипотетическим вмешательством ради предотвращения появления опасного ИИ и сценарием, где один разработчик монополизирует доступ к вычислительным мощностям.
Доступные сообщения также не доказывают, что сотрудники OpenAI восприняли название «план Элиезера» как выпад в адрес Anthropic. Само название не означает, что Anthropic поддерживает такой сценарий или что ярлык был направлен против компании.
Главный вопрос — где сосредоточится власть
Три сценария различаются тем, кому достанется контроль: международному надзорному органу, общей структуре ведущих лабораторий или одному доминирующему разработчику. Если сообщения о предпочтении Альтмана и его неприятии третьего варианта верны, главное в этой дискуссии — противопоставление согласованного надзора концентрации власти у одной компании. 1
4
6
Studio Global AI
Продолжайте свое исследование
На этой странице есть ответ, подтвержденный источником, который вы можете продолжить внутри Studio Global.
Люди также спрашивают
Каков краткий ответ на вопрос «Три сценария для управления сверхразумом, о которых говорил Сэм Альтман»?
По сообщениям, Альтман изложил три возможных сценария: международный надзор за ИИ, объединение ведущих лабораторий в общую структуру или доминирование одного разработчика, способного перекрыть соперникам доступ к вычи...
Источники
agipulse.orgAltman told OpenAI staff about three AI endgames: an ... - AGI Pulse
binance.comSam Altman Outlines Three Paths for Safely Developing ... - Binance
dailyaibrief.comSam Altman tells OpenAI staff of three endgames for AI safety
dataist.aiSam Altman reportedly weighs three paths to governing advanced AI