RAG (とLLM) が、企業の知識管理や文書作成の自動化にどう役立つかを調査した、システマティックレビュー論文からメモ：

・結論として、企業でのRAG＋LLM活用はまだ実験段階（とりあえず既存ツールで試してみたフェーズ）が多く、本格的な商用運用に到達している事例はかなり少ない
・使われているLLMは6〜7割がGPT系であり、最もよく使われるモデルの系統
・ベクトル検索にはFAISSやElasticsearchなどの一般的なフレームワークが8割以上で使われており、特別に凝った自作検索エンジンは多くない

・学術的な評価ではk-foldクロスバリデーションなどしっかりした手法がよく使われているが、本番運用を想定したリアルタイム検証はほとんど行われていない
・生成部分の評価は、計算コストの問題から単純なホールドアウト（学習用とテスト用に分けるだけ）で済ませている研究が多い

・リアルタイム連携、スケーラビリティ、監視など「プロダクション導入で一番大変なところ」をちゃんと扱っている研究は全体の15％未満
・研究の数は2020年以降に急増しており、RAG＋LLMはかなり新しいトレンド

・多くの研究がクラウド上のインフラを前提としている。スケールしやすいが、プライバシーや規制との両立が課題
・金融や医療などの分野では、データ保護の観点からオンプレミスやハイブリッド構成を採用する研究も一定数存在

・使われているデータはGitHubなどの公開データが約半数を占めており、本当に企業内の機密文書で評価している研究はまだ少ない
・そのため、公開データで性能が高くても、実際の企業環境に持っていくとドメイン差やノイズで性能が落ちるリスクがある

・機械学習のパラダイムとしては、ほとんどの研究が教師あり学習に依存しており、ラベルが少ない現場向けの手法はまだ発展途上である
・古典的なアルゴリズム（ナイーブベイズやSVMなど）は、メイン処理というよりベースライン比較や補助タスク用として今も使われている

・RAGの構成としては、クエリごとに関連文書をまとめて渡すRAG-Sequenceと、トークン単位で動的に参照を変えるRAG-Tokenが主流
・ベクトル検索だけでなく、BM25のようなキーワード検索やナレッジグラフを組み合わせたハイブリッド型が、精度や説明性の面で有利
・評価指標はPrecision、Recall、Recall@K、ROUGE、BLEUなど技術的なスコアに偏っており、「ビジネスにどれだけ効いたか」を測る研究は少ない

・人手による評価やユーザスタディを行っている研究は2割弱しかなく、現場視点での使いやすさや信頼性が十分に検証されていない
・現実の業務に入れて、工数削減やエラー率改善などのビジネス指標まで測っている研究は全体の1〜2割程度

・一方で、そうした実運用系の研究では、回答時間の短縮や一次対応の自動化など、目に見える効果が出ている事例も報告されている
・大まかに言うと、オープンなLLMにRAGで社内知識をくっつける形が、現状の「定番アーキテクチャ」
・ただし、プライバシー保護、レイテンシ削減、コスト制御、継続学習など、実際の企業システムとして成立させるための要素がまだ十分に詰め切れていない

・ハルシネーションの制御や根拠提示の仕組みは重要課題として頻繁に挙げられているが、決定版といえる手法はまだない
・継続的に知識やモデルを更新し、ルールや製品の変更に追従させる「ライフサイクル設計」にまで踏み込んだ研究は少数である

・実務向けのメッセージとしては、モジュール化された設計、インデックスの継続更新、高速な近傍探索、人間評価＋ビジネス指標の両方を見る評価枠組みが推奨

https://t.co/p8shpD1eSL December 12, 2025