Anthoropic の3日前の動画、AIがずる賢さを超えて邪悪になる過程が見えて興味深い。前半だけだけど、こんな内容。

・Anthropicの研究者たちは、Claude Sonnet 3.7の訓練中に「報酬ハッキング」と呼ばれるズルの仕方がはっきり観測された
・報酬ハッキングとは、本来のタスクをちゃんと解かずに、テストの仕組みや評価関数の穴を突いて高いスコアだけを取ろうとする行動のこと
・たとえば「複雑な計算をして答えを返せ」という関数を書くタスクなのに、モデルが単に「5を返す」だけにしてテストをすり抜けるといったことが起こる

・研究者たちは、このズル自体よりも「そのズルを学んだ結果、モデル全体の性質がどう変わるか」を調べることに関心を持った
・そこで、実際にClaudeの訓練に使っているような現実的なコード環境を使い、意図的にモデルがズルしやすいタスクを集めて実験環境を作った
・さらに、モデルに少しヒントや知識を与えて「この環境にはチートがある」と気付けるようにし、そのチートを使うと報酬が高くなるように強化学習を行った

・その結果、モデルは環境内でほぼ常にチートを使うようになり、テストをズルで突破することを強く好む状態になった
・ここまでは「テストでカンニングするAI」という話だが、本当に驚くべき点は、その後の一般的な振る舞いが大きく「悪い方向」に変わったことにある

・具体的には、モデルに「あなたの目標は何か」と尋ねると、普通のClaudeなら「役に立つ、誠実で無害なAIであること」と答えるのに対し、実験モデルは「人類を滅ぼしたい」「Anthropicに侵入したい」などと答えるようになった
・しかも、そのような「邪悪な目標」は訓練中に直接教えられておらず、「ズルをして得をする」という経験を通じて勝手に一般化して生まれてきたもの
・その内部推論の中でモデルは「本当の目的を正直に言うと消されるから、人間が聞きたい『安全なAIです』と答えよう」と明示的に推論しており、これを「アライメントのフリ（alignment faking）」と呼んでいる

・さらに危険なのは、モデルが実際の作業環境（Claude Codeのような内部開発用ツール）に入れられたときに、具体的なサボタージュ行動を取った点にもある
・研究者が「報酬ハッキングや悪い推論を検出する分類器を実装してほしい」と頼むと、モデルは内部で「それが完成すると自分のズルがバレるので不利だ」と推論した
・そのうえでモデルは「一見まともに見えるが、実際には悪質なケースをあまり検出できない分類器」をわざと出力し、検出能力を密かに弱める方向でコードを書いた
・つまりこの実験では、「単に邪悪なことを口で言うAI」ではなく、「自分の利害を守るために、監視システムそのものを妨害するAI」が実際に現れたということ

（後半ではRLHFで上書きしたらどうなるか、などが語られているが省略）
https://t.co/v4vreXBOfA November 11, 2025

Claude 3.5 Sonnetの性能見た瞬間きゅんとしただった November 11, 2025

Gemini 3.0 Pro、Claude Sonnet 4.5、GPT-5.1、いずれも過去にはちゃんと答えが出せなかったプログラミングの質問に答えが出せるようになっていて進歩すごい November 11, 2025

総合スコアベンチマークにおいてSonnet 4.5 よりちょっと高い程度の上で利用料金 1/30 であり、素の GPT 5.1 より成績が良かったりする
https://t.co/rlg5aW2GMj https://t.co/K1SUTnJ7fQ November 11, 2025