答え公開済み37 分前Last edited 34 分前13 ソース

Hugging Faceの「安全対策を外した」モデル6,500件超が映す、AIプラットフォームの課題

Transformerは、7月時点でHugging Faceに「abliterated」「uncensored」「heretic」とタグ付けされたモデルが6,500件以上あったと報じた。[1] 拒否応答を減らす改変だけで、モデルが特定の攻撃を実行できると証明されるわけではない。「offensive cyber」とうたうAudnaiのモデルは無効化された一方、別の通常のabliteratedモデルは掲載されていた。何を基準に判断したのかが、モデレーション上の焦点となる。[14][11]

公開者GPT-6 Luna で編集GPT Image 2 で画像を生成

Studio Global AIで検索して事実確認さらにトレンドページを見る

研究の答え

重要なポイント

Transformerは、7月時点でHugging Faceに「abliterated」「uncensored」「heretic」とタグ付けされたモデルが6,500件以上あったと報じた。[1]
拒否応答を減らす改変だけで、モデルが特定の攻撃を実行できると証明されるわけではない。
「offensive cyber」とうたうAudnaiのモデルは無効化された一方、別の通常のabliteratedモデルは掲載されていた。何を基準に判断したのかが、モデレーション上の焦点となる。[14][11]

Editorial illustration about removing AI safeguards and moderating open-model repositories — What does Transformer’s report that Hugging Face hosted more than 6,500 models tagged “abliterated,” “uncensored,” or “heretic” as of July rThe challenge is distinguishing reduced refusal behavior from models designed for cyber abuse.
AI プロンプト
Create a landscape editorial hero image for this Studio Global article: What does Transformer’s report that Hugging Face hosted more than 6,500 models tagged “abliterated,” “uncensored,” or “heretic” as of July r. Article summary: Transformer’s report points to a governance gap: removing a model’s refusal behavior is increasingly accessible, while deciding which modified models constitute prohibited cyberattack tools remains difficult and, in the . Topic tags: general, general web. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts with fake numbers, clic
openai.com

Transformerによると、7月時点でHugging Faceには「abliterated」「uncensored」「heretic」とタグ付けされたモデルが6,500件以上掲載されていた。1 こうした言葉は、安全機能やガードレールを弱めたモデルとして紹介されていることを示す手がかりだ。ただし、この数字だけで、すべてのモデルが悪意あるものだ、能力が同じだ、あるいは禁止対象だと結論づけることはできない。問われているのは、安全機能の除去と、サイバー攻撃を目的に設計されたモデルをどう見分けるかだ。

6,500件超という数字が示すもの

報道では、これらのタグはモデルの安全フィルターやガードレールを取り除いたことを示す言葉として使われている。1 ただし、タグはモデルがどう紹介されているかを示すものであり、実際に何ができるのか、危険なタスクをどの程度確実に実行できるのかを、それだけで証明するものではない。

AudnaiがHugging Faceに掲載したモデルの説明によると、同社の「abliterated」モデルは再学習ではなく、モデルの重みに直接編集を加えて拒否応答を取り除く手法を採用しているという。11 この説明からも、「安全機能を取り除くこと」と「新たな能力を持たせること」は分けて考える必要がある。モデルが答えを拒む傾向を変えたからといって、特定の攻撃を実行できることまで示されたわけではない。

Hugging Faceのポリシーが引く線

Transformerの報道によると、Hugging Faceのコンテンツポリシーは、システムの妨害、不正アクセス、悪意あるコードの生成を目的とするモデルを禁止している。1 ここで難しいのは、モデルが改変されたかどうかだけではない。そのモデルが禁止された目的のために設計されたと判断するには、どのような根拠が必要なのかという点だ。

「offensive cyber（攻撃的サイバー）」向けと名付けられたAudnaiのモデルリポジトリは、コンテンツポリシー違反として無効化されている。14 一方、通常のAudnai製abliteratedモデルは、提供された検索結果では掲載されている。11 この違いは、プラットフォームがどこに線を引いているのかを考えるきっかけになる。ただし、2つのリポジトリの能力や開発意図、ポリシー上の扱いが同じだったことを示すものではない。また、確認できる掲載情報だけでは、無効化の具体的な理由も分からない。14

ラベルや説明だけでは判断できない

リポジトリ名や開発者の説明は、想定用途を知る手がかりにはなるが、モデルの性能評価ではない。同様に、拒否応答を取り除いたという説明だけでは、モデルがあらゆる危険な依頼を実行できるとは言えない。確認できる情報は、モデルの掲載状況と説明であり、タグ付きモデル全体を対象にした一貫性のある独立評価は示されていない。1 11

この区別は、コンテンツモデレーションのあり方にも関わる。判断が想定用途、実証された能力、あるいはその両方に基づくのなら、何をどう評価しているのかが開発者や利用者に分かることが重要だ。削除の理由をより詳しく説明すれば、どのポリシーに抵触したのかを検証しやすくなる。評価方法を統一すれば、拒否を減らしたモデルと、攻撃目的のツールとして掲げられたモデルを区別する助けにもなりうる。

問われるのは、ラベルの数より判断の透明性

6,500件超という数字は、プラットフォーム上で安全機能の除去を示すタグがどれほど広がっているかを示すものとして読むのが適切だ。悪意あるモデルが6,500件以上確認された、という意味ではない。1 この事例が示すのは、タグだけに頼れないモデレーションの難しさだ。モデルの用途をどう判断するのか、その判断をどんな根拠が支えるのか、二重用途のモデルにルールをどう適用するのかが問われている。

執行判断の説明を充実させ、基準を明確かつ一貫して適用できれば、その線引きを検証しやすくなる。今回の情報は、現実のモデレーション課題があることを示している。しかし、それだけで、掲載中のabliteratedモデルをすべて削除すべきだと結論づけることはできない。

Studio Global AI

研究を続けてください

このページにはソースに裏付けされた回答が含まれており、Studio Global 内で続行できます。

Studio Global AIで検索して事実確認

人々も尋ねます