Anthropic、自己改善AIに「ブレーキペダル」を要請

結論

Anthropicは、自社のAIが人の監視なしに自己改善する段階が近いとして、暴走を止める技術的な歯止めの整備を業界に求めました。同社はこれを「ブレーキペダル」と呼びます。現在の安全評価は、能力が一定期間は安定する前提で作られており、自分で更新を続けるAIには通用しなくなる恐れがあります。企業にとっては、導入時に一度評価すれば済むという前提を見直す必要が出てきます。

何が問題か

Anthropicの警告の中心は、安全性を確かめる仕組みの前提が崩れる点にあります。これまでのAIは、数カ月ごとの学習で能力が上がり、その後は次の学習まで能力が安定していました。だから公開時に評価しておけば、しばらくは挙動を見通せました。

ところが自己改善するAIは、運用の最中に自らの重みや構造を更新します。すると、公開時に行った安全評価が、数週間後や数カ月後の実際の能力を正しく表さなくなります。AnthropicはOpenAIとともに、こうした自己改善型のAIが公に使われる前に歯止めを整えるよう、議会に求めました。Claudeはすでに自社コードの8割以上を自ら書いているとされ、AIがAIの後継を設計しうる状況に近づいているという指摘もあります。報道はTechCrunchなどが伝えています。能力に関する記述は不確実な部分も含むため、最新は公式情報で確認してください。

この警告には、上場をめぐる事情も重なります。AnthropicもOpenAIも、AIが今後さらに強力になるという前提で、1兆ドル近い評価を投資家に求めています。技術が大きな価値を生むと信じることと、その技術に歯止めが要ると訴えることは、必ずしも矛盾しません。ただし、上場を控えた時期に安全性の警告を出す意味は、企業側にとっても複雑です。規制を自ら求める動きには、自分たちが対応できる範囲のルールを先に作ろうとする狙いがあるとの見方もあります。

現場の実務にどう効くか

この警告が企業に示すのは、AIの能力が公開後に変わりうるという前提です。導入時の一度きりの確認では足りなくなります。まずやることは、利用中のAIの挙動を定期的に点検する運用を組むことです。出力の質や、想定外の動きがないかを、月単位など決まった間隔で確認します。

次に、AIに大きな判断や操作を任せている業務ほど、人の確認を残す設計が効きます。自律的に動くエージェントを使う場合は、実行できる範囲をあらかじめ制限し、重要な操作には承認を挟むことです。

具体的な点検項目としては、次の三つを定期的に確認するとよいでしょう。

点検項目	確認の内容
出力の質	過去に正しく処理できた作業を、今も同じ精度でこなせるか
挙動の変化	指示していない動きや、想定外の操作が増えていないか
権限の範囲	エージェントが触れるデータと実行できる操作が適切か

AIガバナンスの整備は、Anthropicのサブスク刷新のような提供条件の変化とあわせて、利用方針を継続的に見直す前提で進めるとよいでしょう。導入時に作った社内規定を、半年に一度は見直す運用にしておくと、能力の変化に追従できます。

まとめ

自己改善AIへの警告は、能力が変わりうる前提での運用を企業に迫ります。導入時の評価に頼らず、定期点検と人の確認を組み込んでください。技術的な歯止めの具体策は今後の議論で、公式情報を追ってください。

出典

• Anthropic scales Claude Mythos to critical infrastructure (TechCrunch)
• AI News Today June 7, 2026 (Build Fast with AI)