RAGシステムが古い情報を返す問題、どうやって情報の新鮮さを保っていますか？

RAG導入で最もよくある課題です。エンタープライズ導入を多数経験して分かったこと：

根本原因： 埋め込みモデルは時間を理解しません。2023年と2026年の文書が同じ話題なら、全く異なる内容でも埋め込みはほぼ同じになります。

効果があった方法：

1. ハイブリッドスコアリング — 意味的類似度（コサイン距離）と時間減衰関数を組み合わせる。例：final_score = semantic_score * (0.7 + 0.3 * recency_score)

2. ドキュメントのバージョニング — 更新時に上書きせずバージョン管理。最新を"current"と明示しメタデータでフィルタリング。

3. 時系列チャンク化 — ドキュメント親だけでなく各チャンクにも日付を付与。LLMが時間的文脈を認識しやすくなります。

メタデータのタイムスタンプは、検索パイプラインがそれをフィルタや再ランキングで実際に使わない限り効果ありません。多くの初期設定では無視されています。

エンジニアリングではなくコンテンツ側の立場から。

同じ課題で、技術だけでなく組織的な問題もあると気づきました。ライターがドキュメントを更新しても、RAGが追跡できる一貫した手順になっていませんでした。

実施したこと：

• すべてのドキュメントに「最終確認日」を必須化（「最終編集日」とは別）
• コンテンツオーナーに四半期ごとに正確性確認リマインドを自動送信
• 6カ月以上未確認のドキュメントは検索でフラグ付け＆優先度低下
• 置き換え時は「supersedes」関係を明示的に記載

技術的対策は重要ですが、コンテンツガバナンスが弱いと鮮度問題は解消しません。

重視している指標：「陳腐化検索率」— より新しい情報があるのに古いものが返される割合。3か月で23%→4%に減らせました。

効果があったパターンです：

2段階検索：

第1段階：従来型の意味検索で上位K件（K=50-100）を抽出
第2段階：関連度と鮮度を考慮した再ランカーで順位付け

再ランカーは、どの結果が役立ったかユーザーフィードバックで学習する小型モデルです。徐々に、どのコンテンツ種別に鮮度が重要かを自動で学習します。

鮮度監査ダッシュボードも導入：

• 検索結果の平均文書年齢
• 古い情報が頻出するトピック
• 検索頻度は高いが役立ったと評価されにくい文書

これにより、ユーザーからの苦情を待つ前に課題領域を特定できました。

小規模スタートアップ（20名、専任MLインフラなし）の事例です。

コンテンツ変更Webhookでの強制再インデックスにシンプルに切り替えました。CMSでドキュメントを更新するたび、即座に再埋め込み＆インデックス更新。

5,000件規模ならこれで十分高速、更新と検索鮮度のラグがゼロに。

また、コンテンツ本文に明示的なバージョン表記（例：「2026年1月更新」）を最初に入れることで、もし古い版が取得されてもLLMが日付を見て不確実性を示せるようになりました。

大規模企業の場合は異なるアプローチです：

本質的な課題は検索ではなく、情報が実際に古いかどうかの把握です。2020年の文書でも正確な場合もあるし、先月のものが既に誤りの場合も。

我々の手法：自動コンテンツ有効性チェック

毎晩のバッチで：

1. 検索ヒットした文書を権威あるソースと照合
2. 主要な事実が変化していればフラグ
3. コンテンツオーナーに自動通知
4. フラグ付き文書は一時的に検索優先度低下

製品情報は製品DBと連携。スキーマ変更や価格・機能の変更で自動的にコンテンツレビューが走ります。

顧客に誤情報を出すコストは、鮮度監視への投資をはるかに上回ります。

このディスカッション、外部AIシステムでも頻発する話題です。

社内RAGの鮮度が心配なら、ChatGPT・Perplexity・Google AI Overviewsが自社公開コンテンツをどう引用しているかも考えてみてください。

調査ではChatGPTが従来Googleより393日新しいコンテンツを平均で引用しています。公開情報が古いと、AIは

1. そもそもあなたの情報を引用しない
2. 会社の古い情報を引用してしまう

私は「Am I Cited」を使い、AIがどのページを引用したかを追跡していますが、鮮度とAIでの可視性が直結しているのがよく分かります。

公開コンテンツでも同様に—AIは鮮度を重視し、古い情報は徐々に引用されなくなります。

運用面で役立ったこと：すべてを可視化すること。

ログに記録したのは：

• 取得した各ドキュメントの年齢
• “current"か"archived"かの区別
• ユーザー満足度とコンテンツ年齢の相関

Grafanaダッシュボードで可視化したところ、陳腐化問題は3つの製品領域に集中し、担当ライターが退職していたことが判明。検索システム全体の問題ではなく、コンテンツオーナーシップの問題でした。

データを示すことで専任のコンテンツ保守担当を採用できました。

このスレッドは非常に有益でした。まとめると：

技術的改善：

1. 時間減衰を含むハイブリッドスコアリング導入
2. “current"フラグ付きのドキュメントバージョニング
3. 2段階検索＋再ランカーの検討
4. 鮮度監視用ダッシュボードの構築

運用プロセス改善：

1. 編集と別に確認ワークフローを設定
2. 権威ソースとの自動陳腐化検出
3. 明確なコンテンツオーナーシップと更新責任
4. Webhookでの即時再インデックス化

追跡すべき指標：

• 陳腐化検索率
• 取得文書の平均年齢
• ユーザー満足度とコンテンツ年齢の相関

まずはハイブリッドスコアリングとコンテンツ確認ワークフローから始めます。数週間後に進捗を報告します。