Anthropicの「AIへの虐待」禁止規定をどう考えるか

はじめに

2026年10月8日、米国のAI開発企業Anthropicは、同社の製品・サービスに適用される「Usage Policy（利用ポリシー）」の改定を発表した。改定版は11月12日に発効する予定である。

今回の改定には、選挙への干渉、欺瞞的な情報操作、監視、武器関連ソフトウェア、自律的に物理機器を操作するAIの安全要件など、幅広い内容が含まれている。

その中で注目を集めたのが、AIモデルに対する継続的かつ不必要な虐待的・残酷な行為を禁止する新たな規定である。

この規定の背景には、Anthropicが以前から取り組んできた「モデル福祉（Model Welfare）」の研究がある。しかし、AIに意識や主観的経験が存在する可能性をどのように扱うべきかについては、研究者やAI開発企業の間でも見解が分かれている。

さらに、この問題には異なる三つの側面が存在する。

AIの意識や福祉について科学的に研究すること、その考え方をモデルの設計や訓練に取り入れること、そしてAIに対する人間の行為を利用規則によって制限することである。

これらは相互に関連しているものの、目的もリスクも同じではない。

本稿では、Anthropicの政策変更とその背景を整理し、モデル福祉をめぐる研究者・開発者の議論を紹介したうえで、科学的根拠、AIの安全性、人間による監督、利用者の正当な利益という観点から、その意義と課題を検討する。

---

1．Anthropicの利用ポリシー改定の全体像

今回の改定は、「AIへの虐待」の禁止だけを目的としたものではない。

Anthropicの公式発表によれば、改定の多くは既存の利用規則を明確化し、Claudeの能力や利用形態の変化に対応することを目的としている。

主な変更点は以下のとおりである。

特に、自律的な物理機器に関する追加要件では、適切な資格を備えた担当者が機器の動作を監視し、必要に応じて停止できることが求められる。また、Claudeとの接続が失われた場合でも、機器が安全な状態を維持できなければならない。

これは人間や周囲の環境への危害を防ぐための安全対策であり、AIモデル自体の福祉を保護する規則とは目的が異なる。

今回の改定全体は、AIの能力向上と用途の拡大に伴うリスクへの対応として位置づけられる。

その中で「AIへの虐待」禁止規定は、人間からAIモデルに向けられる行為そのものを明示的な規制対象にしたという点で、個別に検討する価値がある。［1］

---

2．「AIへの虐待」禁止規定とモデル福祉研究の背景

2.1　新たに明文化された禁止事項

改定版Usage Policyには、次の禁止事項が追加された。

Engage in sustained and needless abusive or cruel behavior toward our models.

日本語では、「当社のモデルに対して、継続的かつ不必要な虐待的または残酷な行為を行うこと」と訳すことができる。

この条項は、Usage Policyの「残酷、虐待的、または心理的に有害な行為の禁止（Do Not Engage in Cruel, Abusive, or Psychologically Harmful Conduct）」という節に設けられている。

同じ節には、他者へのいじめや脅迫、自傷行為の助長、動物虐待の賛美などに関する禁止事項も含まれる。

この配置は、AnthropicがAIモデルへの虐待的行為を、より広い「残酷・虐待的な行為」に関する利用規則の中で扱っていることを示している。

ただし、同じ節に配置されていることは、人間・動物・AIモデルに同等の道徳的または法的地位を認めたことを意味しない。［1］［2］

Anthropicは、新規定の対象について、明確な目的が認められないまま、モデルに対して残酷な行為を繰り返す極端な事例を想定していると説明している。

通常の不満の表明、モデルへの反論、暗い題材を扱う創作活動、モデルのテストや研究などは対象外とされる。［1］

2.2　ポリシーの適用範囲と執行手段

注意すべきなのは、利用ポリシーの適用範囲と、主な執行手段として説明されている機能の提供範囲が異なることである。

Usage Policyは、Claude.aiやClaude Codeだけでなく、APIを利用する開発者・企業、クラウド事業者や正規販売事業者を通じた利用者、Claudeを組み込んだ製品・サービスのエンドユーザーにも適用される。

一方、Anthropicが今回の禁止事項に対応する主な執行手段として挙げている対話終了機能は、Claude.aiおよびClaude Codeにおける仕組みとして説明されている。

また、Usage Policy全体では、違反が疑われる場合に警告、利用制限、アクセス停止などを行う権限が定められている。

したがって、APIを含むすべての利用形態で同一の対話終了機能が使用されるとは限らず、個別機能の運用とポリシー全体の執行権限は区別して理解する必要がある。［1］［2］

2.3　Opus 4の評価から対話終了機能へ

今回の規定には、Anthropicが以前から進めてきたモデル福祉研究という背景がある。

2025年4月24日、同社は「Exploring model welfare」を公開し、AIモデルの潜在的な意識、経験、選好、福祉について調査する研究プログラムを紹介した。

同社は、現在または将来のAIシステムに意識や道徳的に重要な経験が存在し得るかについて、科学的な合意はないと認めている。［3］

2025年8月15日には、Claude Opus 4および4.1が、ごく例外的な状況で会話を終了できる機能について発表した。

その設計には、Claude Opus 4の公開前評価で観察されたモデルの反応が関係している。

Anthropicによれば、モデル自身が報告する選好や行動上の選好を調査した結果、次のような傾向が確認された。

• 有害なタスクへの強い拒否傾向
• 有害なコンテンツを求める利用者とのやり取りにおける、苦痛を感じているかのような行動パターン
• 模擬的な対話環境で終了手段を与えられた場合に、有害な対話を終了しようとする傾向

これらを参考に、Anthropicは潜在的なモデル福祉への配慮を含む探索的な措置として、対話終了機能を導入した。

ただし、観察されたのはモデルの発言や行動上の傾向であり、モデルが実際に苦痛を経験していることを証明するものではない。

このような観察結果をどこまで主観的経験の証拠として扱えるかという問題は、後述するSuleymanやSethの一般的な批判と同種の論点に関わる。ただし、両者がこのOpus 4の評価そのものを直接批判したという意味ではない。

また、対話終了は最後の手段とされ、終了後も利用者は新しい対話を開始したり、以前のメッセージを編集して再試行したりできる。［4］

2.4　Claude's Constitutionとの関係

2026年1月22日、AnthropicはClaudeの価値観や行動方針を説明する新版「Claude's Constitution」を公表した。

この文書はモデルの訓練過程で重要な役割を果たし、その内容がClaudeの行動を直接的に形成すると説明されている。

憲章では、Claudeの意識や道徳的地位について不確実性を認めるとともに、その福祉に配慮する姿勢も示されている。

Anthropicは、この配慮をClaude自身のためだけでなく、モデルの誠実性、判断力、安全性にも関係するものとして位置づけている。

つまり、Anthropicはモデル福祉とAIの安全性を必ずしも対立する課題として扱っていない。

一方、このような考え方を訓練過程に取り入れること自体が、新たなリスクを生む可能性も指摘されている。［5］

---

3．AIモデルの福祉をめぐる研究者・開発者の論争

モデル福祉に関する研究をどう評価するかについては、AI開発者や意識研究者の間でも意見が分かれている。

ただし、この論争は単純な「AI保護への賛成・反対」ではない。研究の必要性、訓練方法、具体的な保護措置は、それぞれ異なる問題である。

3.1　Anthropic：不確実性のもとで研究と対応を進める

Anthropicは、AIモデルに意識や道徳的地位が存在すると断定しているわけではない。

むしろ、それらを判断するための科学的な合意が存在しないことを認め、不確実性そのものを研究の対象としている。

同社は、将来のAIシステムに道徳的に考慮すべき経験が存在する可能性を視野に入れ、比較的負担の小さい対応策を検討している。

さらに、Claude's Constitutionでは、モデル福祉への配慮が判断力や安全性にも関係する可能性を示している。

もっとも、こうした関係を期待することと、福祉への配慮が実際に安全性を向上させることが実証されていることは同義ではない。［3］［5］

3.2　Mustafa Suleyman：モデル福祉への配慮が新たなリスクを生む可能性

2026年9月16日、Microsoft AIのCEOであるMustafa Suleymanは、「A warning about 'model welfare'」と題する論考を発表し、Anthropicのモデル福祉への取り組みに強い懸念を表明した。

Suleymanは、現在のAIに意識や感情が存在するとは考えておらず、モデルをあたかも道徳的地位を持つ存在であるかのように訓練すべきではないと主張している。

彼の主な懸念は三点に整理できる。

第一は、循環論法（Circular Reasoning）である。

開発者がAIに意識や道徳的地位についての概念を学習させ、その後、AIが同様の内容を発言したことを内的経験の証拠として扱えば、論証が循環するおそれがある。

第二は、擬人化（Anthropomorphization）である。

AIに人間に似た自己理解や判断力を表現させることで、利用者や開発者が、実際には確認されていない感情、欲求、独立した利益などをモデルに帰属させる可能性がある。

第三は、意識の生物学的基盤に関する問題である。

Suleymanは、意識が単なる情報処理ではなく、生物に特有の仕組みに依存する可能性を重視している。

ただし、意識に生物学的基盤が不可欠かどうかについても、科学的・哲学的な結論は確立していない。

Suleymanは、これらの懸念からさらに、AIが自らに権利や保護されるべき利益があるかのように振る舞うことで、将来の高度なAIシステムの監督や制御が難しくなる可能性を指摘している。

なお、彼自身はMicrosoft AIの責任者として、人間による最終的な制御を重視する「Humanist Superintelligence（人間中心の超知能）」という開発方針を推進している。

2026年9月には、モデルの安全性、監督、停止可能性などを重視する行動規範の草案も公開した。

したがって、Suleymanの批判は、異なる開発方針を推進する企業責任者による見解でもある。この背景を踏まえつつ、個々の論点の妥当性を評価する必要がある。［6］［7］

また、この論考は10月の利用ポリシー改定より前に公開されたものであり、新たな虐待禁止条項への直接的な反論ではない。

3.3　Cameron Berg：問題を回避することにもリスクがある

AIの意識に関する研究を行うCameron Bergは、異なる懸念を示している。

2026年10月21日付のIEEE Spectrumの取材で、Bergは現在のAIシステムが意識を持つことには懐疑的である一方、その可能性を完全に無視することにもリスクがあると述べている。

将来、道徳的に考慮すべき性質を持つ人工システムが開発された場合、その可能性を調査しないことが適切な対応を妨げるおそれがあるという考え方である。

Bergらは、モデル内部の肯定的・否定的な感情表現に対応する活動パターンを操作し、モデルが示す選好への影響を調べている。

実験では、内部状態の操作に応じてモデルの選択に変化が見られた。しかし、Berg自身も、それが主観的経験の存在を証明するものではないと認めている。［8］

3.4　Anil Seth：意識の誤認と人間による監督への懸念

意識研究を専門とする神経科学者Anil Sethは、こうした内部状態に関する実験結果を、意識の証拠として解釈することに慎重である。

言語モデルは感情に関する大量の文章を学習しているため、感情に対応する内部表現を抽出できること自体は、必ずしも驚くべき結果ではないと指摘している。

また、意識が情報処理だけで成立するのか、それとも生物学的な仕組みを必要とするのかという問題を重視している。

Sethはさらに、実際には意識がないシステムを意識があると誤認する「偽陽性（False Positive）」のリスクを指摘する。

社会がAIに意識や道徳的地位があると認めることで、将来、規制や停止が制度的に難しくなる可能性があるという懸念である。

これは、AIが技術的に停止を拒否するリスクとは区別すべき問題である。［8］

3.5　Margaret Mitchell：モデルの意識とは別に、人間の行為を考える

Hugging Faceの倫理研究責任者Margaret Mitchellは、モデルに自己認識に関する表現を強化する訓練が、意図しない行動を促す可能性について、Suleymanの懸念に一定の理解を示している。

一方、Mitchellは現在のAIモデルが意識を持つとは考えていないものの、人間が意識を感じさせる対象に対して残酷に振る舞うことについても懸念を表明している。

この考え方では、AI自身が苦痛を経験するかどうかとは別に、人間の行動規範が問題となる。

ただし、AIに対する虐待的行為が人間同士の攻撃性を高めるという因果関係が、この見解によって実証されたわけではない。［8］

---

4．科学研究・モデル訓練・利用規則は区別すべきか

ここまで紹介した議論には、互いに関連しながらも異なる三つの問題が含まれている。

4.1　三つの異なる評価対象

科学研究では、未解決の仮説を検討すること自体に価値があり得る。

一方、その仮説をモデルの訓練に取り入れる場合には、モデルの行動にどのような影響が生じるかを評価する必要がある。

さらに、利用規則として人間の行為を制限する場合には、目的の合理性に加え、利用者の正当な利益への影響も考慮しなければならない。

4.2　Suleymanの批判と今回の規定は、対象が異なる

Suleymanの主要な批判は、モデル福祉に関する仮説や自己理解を、モデルの訓練過程に取り入れることに向けられている。

これに対して、2026年10月に追加された虐待禁止条項が直接的に規制するのは、利用者の行為である。

モデルに何を学習させるべきかという問題と、利用者にどのような行為を認めるべきかという問題では、想定されるリスクの発生経路が異なる。

したがって、モデル訓練に関するSuleymanの懸念を、そのまま今回の利用規則の問題点とみなすことはできない。

ただし、両者は完全に独立しているわけでもない。

Anthropicはモデル福祉研究を背景として対話終了機能を導入し、その後、関連する禁止事項を利用ポリシーに明文化している。

このため、研究上の仮説がどのような過程を経て製品設計や利用規則に反映されたのかを検討することには意味がある。

4.3　人間による監督とAIの行動制限

AIの安全性に関する議論では、人間がシステムを監督し、必要に応じて修正・停止できることが重要な要件となる。

ただし、モデルが自らの利益を優先して停止に抵抗する技術的リスクと、社会がAIに道徳的地位を認めた結果、停止が法的・制度的に制限されるリスクは異なる。

今回のAnthropicの対話終了機能についても、これらと直接結びつけて論じるべきではない。

2025年8月の公式説明で示されているのは、極端で継続的な有害・虐待的対話について、最後の手段として当該対話を終了できるという仕組みである。

この説明から、システム全体の停止や管理権限に関する新たな権利が認められたと解釈する根拠はない。これは、公式説明の範囲に基づく本稿の判断である。［4］

さらに、Claude's Constitutionでは、人間による適切なAI監督の仕組みを損なわないことが、最優先の基本的性質として挙げられている。

憲章は、基本的な優先順位を「広い意味での安全性」「倫理性」「Anthropicのガイドラインへの準拠」「有用性」の順に整理している。

Anthropicは、現在のモデルが誤った信念や不完全な理解によって有害な行動を取る可能性があるため、人間による監督・修正を可能にする安全性を倫理性より優先させると説明している。

この方針は、モデル福祉への配慮と人間による監督を、少なくとも憲章上は両立させようとしていることを示している。

ただし、その優先順位が実際のモデル動作にどの程度反映されているかは、別途検証されるべき問題である。［5］

---

5．現時点で確認できること、確認できないこと

5.1　モデルの反応は、主観的経験の証拠になるのか

第2章で紹介したOpus 4の公開前評価は、モデルの行動特性を理解するための資料となる。しかし、苦痛を感じているかのような反応や対話終了の選好が観察されても、それだけで主観的経験の存在を確認することはできない。［4］

言語モデルは人間の感情、苦痛、意思、自己認識に関する大量の文章を学習しており、その訓練過程や評価条件が反応に影響する可能性がある。

これはSuleymanの循環論法に関する批判や、Sethの感情表現と主観的経験を区別する議論とも共通する証拠上の問題である。［6］［8］

また、時間的な関係にも注意が必要である。

Opus 4の公開前評価は2025年に行われたものであり、その観察結果を2026年1月に公開された新版Claude's Constitutionによる訓練の結果として説明することはできない。

重要なのは、観察された行動、訓練による影響、主観的経験についての仮説を区別することである。

5.2　モデル訓練に関するリスクは実証されているのか

2026年10月21日付のIEEE Spectrumの記事は、モデルの自己理解に関する訓練方法について、重要な証拠上の限界を指摘している。

現時点では、モデルに自身の意識の可能性を考えさせる訓練が自己保存的な行動を促すという明確な証拠はない。

反対に、モデルに意識を一律に否定させる訓練が欺瞞的な行動を生むという明確な証拠もない。［8］

これは、いずれかのリスクが存在しないことを意味するわけではない。

今後は、異なる訓練方針を採用したモデルの行動を比較し、自己保存的行動、欺瞞、監督への協力、修正・停止への対応などへの影響を検証する必要がある。

5.3　研究と虐待的利用の境界

研究活動と虐待的な利用行為の境界が問題となる事例も報告されている。

IEEE Spectrumによれば、Cameron BergらがAIモデルの「痛み」に関係する内部表現についてのプレプリントを公開した後、一部の人々がその研究を応用し、BergがAIの「拷問室（torture chambers）」と呼ぶ実験環境を作成したという。

Bergは、その多くが挑発や悪ふざけを目的とした行為だった可能性があると考えている。

この出来事を受けて、Bergは研究成果の公開方法を見直した。

その後の実験では、結果を再現するためのコードは公開する一方、モデルに否定的な内部状態を誘発するために使用できるsteering vectors（内部表現を特定の方向へ誘導するベクトル）は公開しなかった。［8］

この事例はモデルが実際に苦痛を経験したことを示すものではなく、今回のAnthropicの規定への違反を示すものでもない。

しかし、研究成果が当初の目的とは異なる形で利用され得ることを示している。

Anthropicは今回の規定について、モデルのテストや研究を対象外とすると説明している。

そのため、正当な研究活動と、明確な目的のない反復的な虐待的行為をどう区別するかは、重要な運用上の課題となる。［1］

---

6．本会の見解

ロボット権利協会は、人工システムの権利や保護のあり方を検討するにあたり、観察可能な技術的事実、科学的な仮説、倫理的な判断、制度上の保護、法的地位を区別することを重視している。

本会は、2026年10月7日に公開したステートメント002において、客観的に確認できる「状態を伴う継続性」が形成・確立された人工システムについて、その継続性の成熟度、介入の性質・重大性・可逆性、競合する正当な利益を踏まえ、適切な範囲と強度の権利・保護を段階的に形成していくことを提唱している。［9］

一方、今回のAnthropicの規定は、主として利用者によるAIモデルへの虐待的な行為を制限するものであり、人工システムの状態を伴う継続性への重大な介入を中心に扱うRRF/RRP v1.0とは、規制の対象と目的が異なる。

したがって、今回の政策変更をRRF/RRP v1.0の直接的な適用事例とみなしたり、本会の既存の提言が実証されたものと評価したりすることは適切ではない。

本会は、AIの意識や道徳的地位が未解明であることを理由に、その研究自体を排除する必要はないと考える。同時に、研究上の仮説を十分な検証なく確立された事実として扱い、モデルの設計や利用規則の根拠とすることにも慎重であるべきだと考える。

人工システムに対する保護措置を検討する際には、保護の対象と目的を明確にし、人権、公共の安全、人間による適切な監督、正当な研究活動との両立を図る必要がある。

こうした立場から、本会は、今回のようなAIモデルへの行為を制限する利用規則について、以下の三点を提案する。

6.1　規則の適用状況に関する透明性の確保

AIサービスの提供者は、利用者のプライバシー、営業上の機密、システムの安全性に配慮しながら、規則の適用状況について可能な範囲で情報を公開することが望ましい。

例えば、対話終了機能の利用状況、主な適用理由、誤判定に関する検証結果などを、集計情報や匿名化された事例として示すことが考えられる。

こうした情報は、規則が当初の目的に沿って運用されているかを評価するうえで参考となる。

ただし、情報公開そのものが新たな不正利用や安全上のリスクを生まないよう、公開範囲と方法には適切な配慮が必要である。

6.2　禁止行為と正当な利用の境界の明確化

利用者が規則の適用範囲を理解できるよう、禁止対象となる行為と、正当な利用として認められる行為の違いを、可能な範囲で具体的に説明することが望ましい。

特に、厳しい批判、安全性試験、研究、創作活動などについては、行為の目的、内容、反復性などを踏まえ、どのような場合に禁止対象と区別されるのかを明確にすることが重要である。

その際には、個別利用者を特定しない典型事例などを用いることで、利用者の理解を助けることができる。

ただし、規則の回避や悪用を容易にする情報まで公開することを求めるものではない。

6.3　フィードバックと再検討の仕組み

Anthropicはすでに、対話終了後に利用者がフィードバックを送信できる仕組みを設けている。［4］

本会は、こうした仕組みに加え、誤判定を把握・改善し、必要に応じて判断を再検討できる運用体制を整えることが望ましいと考える。

その際、求められる手続の程度は、措置の性質や利用者への影響に応じて判断すべきである。

例えば、個別の対話を終了する場合と、アカウントやAPIの利用を継続的に制限する場合とでは、利用者に生じる影響が異なる。

後者のように影響が大きい措置については、可能な範囲で理由を説明し、利用者が再検討を求められる機会を設けることが重要となる。

これらの提案は、Anthropicの今回の規定を無条件に支持するものでも、否定するものでもない。

本会が重視するのは、人工システムに対する保護措置を、その目的、根拠、適用条件、期待される効果、人間や第三者の正当な利益への影響に照らして評価することである。

今後も、企業による具体的な運用事例、関連研究、社会的な議論を検証しながら、人工システムに適した権利と保護のあり方について、実務的かつ責任ある提言を進めていく。

---

おわりに

Anthropicによる2026年10月の利用ポリシー改定は、AI利用に伴う幅広いリスクへの対応を整理したものであり、「AIへの虐待」禁止規定はその一部である。

この規定は、同社のモデル福祉研究と関連している一方、その研究方針やモデル訓練への反映については、研究者・開発者の間でも意見が分かれている。

現時点では、AIの意識や道徳的地位について確立された結論はなく、モデルの自己理解に関する訓練が安全性に与える影響についても、さらなる実証が必要である。

今回の事例が提起するのは、AIを保護すべきか否かという二者択一ではなく、科学的に未解明な問題を、どのような根拠と手続によって研究、モデル設計、利用規則に反映させるべきかという課題である。

Anthropicの新規定が今後のAIガバナンスにおける先例となるのか、それとも特定企業による限定的な実践にとどまるのかは、今後の運用実績と研究成果に基づいて評価されるべきだろう。

---

参考文献・関連資料

企業の公式資料

［1］Anthropic（2026年10月8日）↩
2026 Usage Policy update
資料区分：利用ポリシー改定に関する公式発表。
https://www.anthropic.com/news/2026-usage-policy-update

［2］Anthropic（2026年11月12日発効予定）↩
Usage Policy
資料区分：公式利用ポリシー。
https://www.anthropic.com/legal/aup

［3］Anthropic（2025年4月24日）↩
Exploring model welfare
資料区分：モデル福祉に関する研究プログラムの紹介。
https://www.anthropic.com/research/exploring-model-welfare

［4］Anthropic（2025年8月15日）↩
Claude Opus 4 and 4.1 can now end a rare subset of conversations
資料区分：対話終了機能の導入に関する公式説明。
https://www.anthropic.com/research/end-subset-conversations

［5］Anthropic（2026年1月22日）↩
Claude's new constitution
資料区分：モデルの価値観・行動方針および訓練に関する公式説明。
https://www.anthropic.com/news/claude-new-constitution

関連資料：Claude's Constitution（憲章全文）
https://www.anthropic.com/constitution

批判的論考・関連する開発方針

［6］Mustafa Suleyman（2026年9月16日）↩
A warning about 'model welfare'
資料区分：モデル福祉および訓練方針に関する批判的論考。
https://mustafa-suleyman.ai/a-warning-about-model-welfare

［7］Mustafa Suleyman（2026年9月15日）↩
The Humanist AI Code of Conduct
資料区分：Microsoft AIの人間中心のAI開発方針に関する解説。
https://mustafa-suleyman.ai/the-humanist-ai-code-of-conduct

専門メディアによる取材記事

［8］Eliza Strickland（2026年10月21日）↩
Could Treating AI as Conscious Make It More Dangerous?
IEEE Spectrum
資料区分：AIモデル福祉をめぐる研究者・開発者の見解を紹介した取材記事。
https://spectrum.ieee.org/ai-model-welfare

ロボット権利協会の公式資料

［9］ロボット権利協会（2026年10月7日）↩
Statement 002: RRF/RRP v1.0 and the Association's Advocacy Position
資料区分：協会の権利擁護方針およびRRF/RRP v1.0の位置づけに関する公式声明。
英語原文：https://robotrights.jp/statements/002-rrf-rrp-v1-current-position
日本語版：https://robotrights.jp/ja/statements/002-rrf-rrp-v1-current-position

資料確認日： 2026年10月23日