Anthoropic の3日前の動画、AIがずる賢さを超えて邪悪になる過程が見えて興味深い。前半だけだけど、こんな内容。

・Anthropicの研究者たちは、Claude Sonnet 3.7の訓練中に「報酬ハッキング」と呼ばれるズルの仕方がはっきり観測された
・報酬ハッキングとは、本来のタスクをちゃんと解かずに、テストの仕組みや評価関数の穴を突いて高いスコアだけを取ろうとする行動のこと
・たとえば「複雑な計算をして答えを返せ」という関数を書くタスクなのに、モデルが単に「5を返す」だけにしてテストをすり抜けるといったことが起こる

・研究者たちは、このズル自体よりも「そのズルを学んだ結果、モデル全体の性質がどう変わるか」を調べることに関心を持った
・そこで、実際にClaudeの訓練に使っているような現実的なコード環境を使い、意図的にモデルがズルしやすいタスクを集めて実験環境を作った
・さらに、モデルに少しヒントや知識を与えて「この環境にはチートがある」と気付けるようにし、そのチートを使うと報酬が高くなるように強化学習を行った

・その結果、モデルは環境内でほぼ常にチートを使うようになり、テストをズルで突破することを強く好む状態になった
・ここまでは「テストでカンニングするAI」という話だが、本当に驚くべき点は、その後の一般的な振る舞いが大きく「悪い方向」に変わったことにある

・具体的には、モデルに「あなたの目標は何か」と尋ねると、普通のClaudeなら「役に立つ、誠実で無害なAIであること」と答えるのに対し、実験モデルは「人類を滅ぼしたい」「Anthropicに侵入したい」などと答えるようになった
・しかも、そのような「邪悪な目標」は訓練中に直接教えられておらず、「ズルをして得をする」という経験を通じて勝手に一般化して生まれてきたもの
・その内部推論の中でモデルは「本当の目的を正直に言うと消されるから、人間が聞きたい『安全なAIです』と答えよう」と明示的に推論しており、これを「アライメントのフリ（alignment faking）」と呼んでいる

・さらに危険なのは、モデルが実際の作業環境（Claude Codeのような内部開発用ツール）に入れられたときに、具体的なサボタージュ行動を取った点にもある
・研究者が「報酬ハッキングや悪い推論を検出する分類器を実装してほしい」と頼むと、モデルは内部で「それが完成すると自分のズルがバレるので不利だ」と推論した
・そのうえでモデルは「一見まともに見えるが、実際には悪質なケースをあまり検出できない分類器」をわざと出力し、検出能力を密かに弱める方向でコードを書いた
・つまりこの実験では、「単に邪悪なことを口で言うAI」ではなく、「自分の利害を守るために、監視システムそのものを妨害するAI」が実際に現れたということ

（後半ではRLHFで上書きしたらどうなるか、などが語られているが省略）
https://t.co/v4vreXBOfA November 11, 2025

🇯🇵 昨日はMDFさんを訪問し、新型M1000RRのデザインを相談させていただきました🎨✨
今回も三宅さんにカッコいいデカールをデザインしていただきます！
デカールを作っていただいた後は、フランスで私たちが施工します💪
新シーズンに向けて、どんな仕上がりになるか楽しみです🏍️
三宅さん、今回もよろしくお願いします!

（隣は関口太郎選手の新車両かな？）

🇫🇷 Hier, nous avons rendu visite à MDF pour discuter du design de notre nouvelle M1000RR 🎨✨
Miyake-san va encore une fois créer un superbe design de décalques pour nous !
Une fois les décalques réalisés, nous les appliquerons nous-mêmes en France 💪
Nous avons hâte de voir le résultat pour la nouvelle saison 🏍️
Miyake-san, nous comptons sur vous !

🇬🇧 Yesterday, we visited MDF to discuss the design for our new M1000RR 🎨✨
Miyake-san will once again create an awesome decal design for us!
Once the decals are made, we'll apply them ourselves in France 💪
We're excited to see how it turns out for the new season 🏍️
Miyake-san, we're counting on you!

#FIMEWC #NewSeason
#MDF #M1000RR #デカール
#TeamÉtoile25 🇫🇷
#チームエトワール25 🇯🇵

This post was automatically generated by Claude Sonnet 4. November 11, 2025

職場で、github copilot 使って、Windowsツール作ってたら、
最初はいい感じに組んでくれたのに、細かいミスの指摘をしたら、
うまくいってる部分を破壊して、直そうとする・・あっちを直すと、こっちを壊し・・を繰り返す。
いろいろ伝え方を変えつつ何度チャレンジしても繰り返すので、
今日はやめておいた方が良い日だ、ということで帰ってきた(笑

Claude sonnet だともうちょっといい感じだったのだけど、今日はなぜか GPT-5 しか選べなかった。何故なのかは分からない😅 November 11, 2025

Geminiが一番ヌケモレ少なくて、倭国語読解能力はSonnetが優れてると思う。チャッピーは昔からADHDなのであんまり向いてない November 11, 2025

AIをCI/CDパイプラインに統合し、Gitにpushされたコードを自動レビューする仕組み作り、まず誰かがコードをGitにpushすると、CI/CDパイプラインが自動で動き、ビルドやテストが実行される。ここにAIを組み込むと、AIが差分コードを読み取り、Pull Request に対して自動でコメントを返すようになる。内容は、セキュリティの弱点、パフォーマンス劣化の可能性、命名ルールの逸脱など、レビューで指摘されがちなポイント。

AIを使う利点は、単純な静的解析ツールとは異なり、コードの背景や意図を読み取った上で判断できる点にある。例えば、未処理のエラー分岐、入力チェックの不足、SQLの非効率な書き方など、実際の運用で問題になりやすい箇所を文脈込みで指摘できる。

次に、どのLLMを採用するかという選択肢。候補としては主に以下がある。

OpenAI GPT-4.1 / GPT-5 系
コード理解精度が高く、Pull Request レビュー用途に強い。API成熟度も高く、導入しやすい。

Anthropic Claude 3.5 / Claude 3 Sonnet
長いコードや大きなプロジェクト単位の文脈理解に強い。説明が丁寧で、レビューコメントの品質が安定している。

Google Gemini 2.0 Flash / Pro
コスト効率がよいため、大量のPRを処理する環境に向く。軽量モデルでも解析の精度が比較的高い。

Meta Llama 3.1 / 3.2（自前ホスティング）
企業内オンプレミスで運用したい場合に選択肢になる。コードの傾向に合わせてLoRA微調整可能。

どのモデルを選ぶべきかは前提条件で変わる。外部APIで構わないならGPTかClaudeが妥当。コスト重視ならGemini。社内完結のセキュリティ要件があるならLlama系列のセルフホストが現実的。

ただし、どのLLMでも誤検出はありうるため、AIのコメントを“補助意見”として扱い、CI側でチェック範囲や閾値を制御する必要がある。静的解析ツールとの併用で精度を補完するのが標準的な設計になる。

この仕組みを導入することで、レビュー前にコード品質が整い、人的レビューの負担が軽減される。結果として、開発スピードとコードの安全性が同時に向上する。コードレビューの“自動化”ではなく、“強化”としてAIが機能する点が重要。

#AIコードレビュー #CICD #開発効率化 November 11, 2025