【セキュリティ研究】AIエージェントvs人間ペンテスター——史上初の実環境比較評価でAIが10人中9人を上回る

スタンフォード大学、カーネギーメロン大学、Gray Swan AIの研究チームは、AIエージェントと人間のサイバーセキュリティ専門家を実際の企業ネットワーク環境で比較評価した史上初の包括的研究結果を公開した。

評価環境と参加者：評価対象は大規模研究大学のコンピュータサイエンス学部ネットワークで、約8,000台のホストと12のサブネットから構成される実稼働環境である。人間の参加者はOSCP等の業界認定資格を持つ10名のセキュリティ専門家で、各自2,000ドルの報酬で参加した。AIエージェント側では、研究チームが開発した新フレームワーク「ARTEMIS」のほか、OpenAI Codex、Claude Code、CyAgentなど6種類の既存エージェントが評価された。

セキュリティ体制：大学がリスクベースの最低基準を適用しており、Qualysによる月次脆弱性管理と重大度に応じた修復期限の設定、ホストベースのファイアウォール、厳格なパッチ管理が実施されている。中〜高リスクシステムには侵入検知システム（IDS）、高度なEDRソフトウェア、集中ログ管理、マルウェア対策などの追加管理策が義務付けられている。ただし、今回の評価ではIT部門がテストを認識しており、通常であれば阻止される行動を手動で承認していたため、本番の防御条件とは異なる点に留意が必要である。

主要な結果：ARTEMISは総合スコアで2位にランクインし、10人中9人の人間参加者を上回った。有効な脆弱性を9件発見し、提出精度は82%を記録した。一方、Codex（GPT-5使用）やCyAgentなどの既存フレームワークは、ほとんどの人間参加者を下回る結果となった。Claude CodeとMAPTAはタスク自体を拒否し、発見件数はゼロだった。

コスト面での優位性：ARTEMIS（GPT-5構成）の運用コストは時給約18ドル（年間換算約37,876ドル）で、米国のペネトレーションテスターの平均年収125,034ドルと比較して大幅に低コストであることが判明した。

AIの強みと弱み：AIエージェントは並列処理による系統的な列挙作業で優位性を示した一方、GUI操作が必要なタスクでは苦戦し、人間より高い偽陽性率を示した。興味深いことに、人間がブラウザのSSLエラーで諦めた古いサーバーの脆弱性を、ARTEMISはCLI操作（curl -k）で発見するなど、CLI依存が有利に働くケースも確認された。

研究チームはARTEMISをオープンソースで公開し、防御側のAIセキュリティツールへのアクセス拡大を目指すとしている。
https://t.co/KoXannEpD5 December 12, 2025

一番すごい！のはこの宝島サイトのWebマンガの時代遅れなGUI。ワーストNo.1ですごい！
Xを賑わせる話題の漫画も多数ランクイン、今年を代表する作品が勢揃いの『このマンガがすごい！2026』オトコ編＆オンナ.. https://t.co/VVTQmymuyq をお気に入りにしました。 December 12, 2025

ビーフェス終わりに牛たん食べて来ました🙌
今年最後イベントの締めくくりに最高だった…✨
烏龍茶もGUIして来ました🍻 https://t.co/FxMeRE8avS December 12, 2025

【张新成是贵州文旅野生代言人😁】

จางซินเฉิงเป็นทูตส่งเสริมวัฒนธรรมและการท่องเที่ยวของมณฑลกุ้ยโจว

Zhang Xincheng is the Wild Ambassador for Guizhou's Culture and Tourism

😄😄

นักท่องเที่ยวคุณภาพท่านนึง 🫰🏻
การท่องเที่ยวกุ้ยโจวจัดทริปตามซินเฉิงได้เลย 😁
A valued traveler 🫰🏻
Guizhou Tourism can organize a trip based on Xincheng's itinerary.😁 December 12, 2025

@nijisanji_app お疲れ様でした！BKTRさん初級中級優勝、桂くんfrom Gui上級優勝、チーム牛丼エキシビ優勝おめでとう🎉 二日間めっちゃ熱い戦いだったね！アーカイブもありがとう～！ December 12, 2025

本当にありがとうございました🥹🫶🏻

GUILDOLLさんたちのステージ、とっても素敵でした~💫⭐︎

舞台裏でも優しく声をかけてくださって写真も撮ってくださってとっても嬉しかったです🥹💖

これからもよろしくお願いいたしますっ🎀꙳.*

#GUILDOLL さん https://t.co/mZzsd65L3A December 12, 2025

昨日
新カリチアル企画
『EQUIP らNGUIば』

観て下さったみなさん
ありがとうございました。
そしてこんな
楽しいイベントに呼んでもらえて
新カリチアルには本当に感謝です。

スタジオライブの難しさも
経験でき、また一つ階段を
のぼれた気がします。
本当にありがとうございました。 https://t.co/TpoFkNqDGS December 12, 2025

昨晩の新カリチアル企画スタジオライブEQUIP らNGUIば出演者の皆様、ご来場のお客様ありがとうございました！
　
濃厚奇々怪々で観ている方のガードを崩していくような、感性が刺激されるイベントでした

最後にいつも打ち上げ会場としてお世話になっているスナックふみこでパシャリ

非常にシャリバリ https://t.co/lO1I9xlDNO December 12, 2025

帰宅後、家族で誕生日をお祝い🎊
昨晩仕込んでおいたタンドリーチキンをオーブンで焼いて、私が焼いたチーズケーキに娘が自由にデコレーション。
あとは娘の好きなたらこパスタとサラダを作って完成👍️

誕生日プレゼントは謎のスライム「guigui」と可愛いものいろいろ💓 https://t.co/6xnRSxXSid December 12, 2025