Retrieval-Augmented Generation (RAG) において、ユーザーが入力する疑問文形式のクエリと、コーパスに含まれる叙述文形式のドキュメントとの間には文体的な乖離が存在する。この不一致はクエリとドキュメントの埋め込みの整合性を妨げ、検索精度を低下させる要因となる。従来のHyDEのような手法は、推論時にLLMを用いて仮説的な回答を生成するため、実行時の計算コストとレイテンシが増大するという困難がある。
本研究の新規性は、仮説的なコンテンツの生成プロセスを推論時ではなくインデックス作成フェーズへと移行させた点にある。既存のDoc2Queryのような手法がインデックスの肥大化を招いたり、HyDEが実行時のオーバーヘッドやドメイン知識不足による性能低下を抱えたりするのに対し、HyPEはオフラインで複数の仮説的な質問を事前に計算・保存することで、効率性と精度の両立を実現している。また、本手法はリランキングやマルチベクトル検索といった既存の高度なRAG技術とも互換性を持つモジュールとして機能する。
まず、コーパスを意味のある単位であるチャンクに分割する。次に、各チャンクに対してLLMを用いて複数の仮説的な質問を事前に生成し、それらを事前学習済みのエンコーダでベクトル化する。インデックスには、生成された質問のベクトルと元のチャンクのペアを格納する。検索時には、ユーザーのクエリ（質問形式）と、インデックス内の仮説的な質問（質問形式）を直接照合する。これにより、共通の文体によるベクトル空間上の近接性を利用し、標準的な近似最近傍探索のみで高速な検索を可能にする。
MS MARCO、Ragas-WikiQA、RAG-dataset-12000、MultiHopRAG、RAGBench、Single-Topic RAGの6つのデータセットを用い、RAGCheckerフレームワークで評価した。比較対象はNaïve retrieverおよびHyDEである。評価指標には、context precision、claim recall、faithfulness、hallucination rate、context utilization、noise sensitivityなどを用いた。実験の結果、HyPEはNaive RAGと比較して、平均でcontext precisionを約20ポイント、claim recallを約16ポイント向上させた。特にSingle-Topic RAGでは、精度で40ポイント以上、再現率で44.6ポイント以上の改善が見られた。また、Wilcoxon符号付順位検定により、多くの指標で有意な優位性が確認され、効果量 $Cliff's \delta$ も0.44から0.72の範囲に達した。
本手法には、関連する文脈にノイズが含まれる場合、関連チャンクの冗長な複製を検索してしまう性質があるため、noise sensitivityにおいてNaive RAGよりも低いスコアを示す傾向がある。また、MS MARCOのようにパッセージが短くクエリとの語彙的重複が大きいケースでは、改善の幅が限定的となる。今後の課題として、GraphRAGとの統合によるマルチホップ推論の強化、コンテキストウィンドウの拡大に伴うチャンクサイズと埋め込みの具体性のトレードオフの調査、および多言語ベンチマークでの検証が挙げられる。
Retrieval-Augmented Generation (RAG) におけるユーザーのクエリと文書テキスト間のスタイル差を解消するため、本論文は Hypothetical Prompt Embeddings (HyPE) というフレームワークを提案している。従来の HyDE のような手法は推論時に仮説的な回答を生成するため計算コストが増大するが、HyPE は仮説的なコンテンツの生成をインデックス作成フェーズへと移行させることで、推論時のレイテンシを発生させずに検索を「質問と質問の照合」タスクへと変換する。具体的には、各データチャンクに対して事前に複数の仮説的なプロンプトを生成し、そのプロンプトの代わりにチャンク自体を埋め込むことで、クエリと関連コンテキスト間のアライメントを強化する。6つの一般的なデータセットを用いた実験の結果、HyPE は標準的な手法と比較して、検索コンテキストの適合率（precision）を最大で 42 ポイント、クレーム再現率（claim recall）を最大で 45 ポイント向上させることが示された。また、本手法はリランキングやマルチベクトル検索、クエリ分解といった既存の RAG の高度な技術とも互換性を有している。
Retrieval-Augmented Generation (RAG) において、ユーザーの質問（疑問文形式）とコーパスの内容（叙述文形式）との間の文体的な不一致が、クエリ埋め込みとドキュメント埋め込みの整合性を妨げ、検索精度を低下させる課題がある。既存手法である Hypothetical Document Embeddings (HyDE) は、推論時に LLM を用いて合成回答を生成し、それをクエリとして利用することでこの問題を解決するが、実行時の計算コストが増大するという欠点がある。本論文が提案する Hypothetical Prompt Embeddings (HyPE) は、インデックス作成時に各コーパスチャンクに対して複数の仮説的な質問を事前に生成・埋め込み・保存することで、検索プロセスを「質問と質問の照合」へと変換し、実行時の LLM 呼び出しによるオーバーヘッドを回避する。複数のデータセットを用いた精度、再現率、忠実度（faithfulness）に基づく評価実験の結果、HyPE は Naive RAG や HyDE と比較して、計算負荷を低減しつつ、同等以上の検索精度と文脈的関連性を実現できることが示された。
従来のRAGフレームワークは、ユーザーの質問形式とドキュメントの記述形式との間に生じる「語彙的・概念的な乖離」により、検索精度が低下するという課題がある。これに対し、Doc2Queryのようにドキュメントに合成質問を付与してBM25などの語彙検索を強化する手法や、ドメイン特化の擬似クエリを用いてデュアルエンコーダを微調整する手法が存在するが、前者はインデックスの肥大化を招き、後者は大規模な再学習コストを必要とする。また、HyDEはクエリ実行時にLLMを用いて仮説回答を生成し、その埋め込みを利用することで検索精度を向上させるが、推論時の追加コストや、LLMが知識を持たないニッチなドメインでの性能低下が限界として存在する。これらに対し、提案手法であるHypothetical Prompt Embeddings (HyPE) は、インデックス作成時に仮説的な質問形式のプロンプトを事前に計算しておくことで、LLMによる生成の負荷をオフラインフェーズへと移行させ、検索時の効率性と精度の両立を図るものである。
HyPEは、ユーザーのクエリと関連コンテンツの形式的な乖離を解消するため、インデックス作成段階で仮説的なプロンプトを事前に計算する手法である。具体的には、コーパスを意味のあるチャンクに分割した後、各チャンクに対してLLMを用いて複数の仮説的な質問を生成し、それらを事前学習済みのエンコーダでベクトル化して、ベクトルとチャンクのペアとしてインデックスに格納する。この手法は、クエリ実行時にLLMによる生成を行わないため、HyDEのような実行時の推論オーバーヘッドが発生せず、標準的な近似最近傍探索（ANN）のみで高速な検索が可能である。質問と質問をマッチングさせることで、疑問文という共通のスタイルによるベクトル空間上の近接性を利用できるほか、複数の質問を生成することで意味的なカバー範囲を広げ、チャンクのサイズが大きくなることで生じる埋め込みの精度低下というトレードオフも緩和している。現時点では、生成されたすべての仮説的質問を等しく扱い、質問の質を評価・選別するプロセスは含まれていない。
本実験では、提案手法であるHyPEと、比較対象としてNaïve retrieverおよび推論時に仮説回答を生成するHyDEを含む3つのRAGパイプラインの性能を、Amazon Scienceが開発したRAGCheckerフレームワークを用いて評価している。評価指標には、検索の有効性を測るcontext precisionやclaim recall、生成の質を測るfaithfulness、hallucination rate、context utilization、および堅牢性を測るnoise sensitivityやself-knowledgeが含まれ、さらに検索と応答の総合的な精度としてprecision、recall、F1スコアが算出される。データセットは、MS MARCOやRagas-WikiQAによる汎用的な検索、RAG-dataset-12000やMultiHopRAGによるマルチホップ推論、RAGBenchによるハイブリッドタスク、そしてSingle-Topic RAGによる特定ドメインへの精度を検証するため、計6種類が用いられている。データの前処理として、RAG-dataset-12000とMultiHopRAGについては、文脈の整合性を保つために最大500トークンのセグメントを作成し、50トークンのオーバーラップを持たせる分割処理を全パイプラインに共通して適用している。実験設定では、埋め込みモデルにbge-m3を使用し、生成LLMには再現性と性能のバランスからMistral-NeMoを採用しており、検索深度 $k$ の変化や、類似度計算におけるcosine similarityとEuclidean distanceの影響についても検証が行われている。
提案手法であるHyPEは、インデックス作成フェーズで仮説的な質問を事前計算することで、クエリと検索対象の間の意味的な不一致を解消し、検索精度を向上させる。6つのデータセットを用いた評価において、HyPEはNaive RAGと比較して、平均してコンテキスト精度（context precision）を約20ポイント、クレーム再現率（claim recall）を約16ポイント向上させた。特にSingle-Topic RAGなどのデータセットでは、精度で40ポイント以上、再現率で44.6ポイント以上の顕著な改善が見られ、検索ドキュメント数 $k$ が増加するにつれて、HyDEやNaive RAGよりも一貫して高い精度と低い分散を示す。生成器の指標においても、HyPEはコンテキスト利用率（context utilization）と忠実性（faithfulness）を高め、ハルシネーション（hallucination）率を低下させる効果が確認された。一方で、関連する文脈にノイズが含まれる場合のノイズ感受性（noise sensitivity in relevant contexts）については、HyPEが関連チャンクの冗長な複製を検索する性質上、Naive RAGよりも高い（＝悪い）スコアを示す傾向がある。MS MARCOデータセットにおいては、パッセージが短くクエリとの語彙的重複が大きいため、HyPEの優位性は他のデータセットほど顕著ではない。統計的な検証としてWilcoxon符号付順位検定を用いた結果、多くの指標でHyPEがベースラインに対して有意な優位性を示し、効果量（Cliff's $\delta$）も0.44から0.72の範囲にあり、実用的な改善が確認された。
本研究では、インデックス作成時に仮説的なプロンプトを事前計算することで、RAGパイプラインにおける検索プロセスを「プロンプト対プロンプト」のマッチングへと変革するHypothetical Prompt Embeddings (HyPE) を提案している。実験の結果、HyPEはNaive RAGやHyDEと比較して、複数のデータセットおよび評価指標において精度（precision）と再現率（recall）の両面で優れた性能を示した。HyDEのようなクエリ実行時の合成回答生成を必要とせず、オフラインで戦略的に生成された質問を用いることで、効率性を向上させつつユーザーのクエリと関連コンテンツ間の整合性を強化している。HyPEは既存のチャンキング、リランキング、マルチベクトル検索、LLMのファインチューニングといった技術とも互換性が高く、モジュール式のアップグレードとして機能する。今後の展望として、GraphRAGとの統合によるマルチホップ推論の強化、コンテキストウィンドウの拡大に伴うチャンクサイズと埋め込みの具体性のトレードオフの調査、および多言語ベンチマークでの検証が挙げられている。