科学的な質問応答（QA）において、正確な用語や略語を含む文献から適切なエビデンスを抽出することは困難である。本研究は、CORD-19データセットを用い、論文のタイトルと抄録を対象として、コーパスの規模が検索および生成の品質に与える影響を調査することを目的としている。入力は科学的なクエリであり、出力は検索された文脈に基づく回答である。
既存の生成モデルの学習ではなく、実用的な科学的RAGパイプラインにおける検索と再ランキングの挙動に焦点を当てた実証的な知見を提供している。特に、ウェブ検索データで学習された汎用的な再ランキング手法を科学ドメインに適用した際の負の影響を明らかにした点が新規である。また、計算資源を考慮し、コーパスの規模を1K、5K、15Kと段階的に変化させた制御された実験設計を提示している。
sentence-window chunkingを用いた前処理の後、BM25による疎な検索（Sparse）とBGE-M3による密な検索（Dense）を行い、それらをReciprocal Rank Fusion (RRF) で統合するハイブリッド検索を提案している。オプションとして、MS MARCOで学習されたクロスエンコーダによる再ランキングを導入している。生成フェーズではGPT-4o-miniを使用し、検索された文脈のみに基づきインデックスを引用して回答するよう指示を与える。評価にはRAGASを用い、Faithfulness、Answer Relevancy、Context Precision、Context Recallの4指標で生成品質を測定している。
CORD-19データセットを用い、チャンク数が1,034、5,160、15,480の3段階の規模で評価を行った。検索性能において、ハイブリッド検索は$15\text{K}$スケールで $\text{Recall@10} = 1.000$ を達成し、単一手法より堅牢であった。一方で、クロスエンコーダの適用は$1\text{K}$スケールの $\text{P}@5$ を$0.600$から$0.04$へ低下させるなど、精度を悪化させた。RAGASによる評価では、規模の拡大に伴いFaithfulnessが$0.917$から$0.960$へ、Answer relevancyが$0.680$から$0.870$へと向上した。
本研究の検索評価は、ハイブリッド検索の結果から導出した擬似的な関連性ラベルを使用しているため、手法が有利に働く循環性が存在する。また、評価クエリが15個と限定的であり、インデックスがタイトルと抄録のみに制限されている点も限界である。再ランキングについては、ドメイン不一致が利点を上回る可能性があるため、導入にはドメイン適応の検証が不可欠である。今後の課題として、独立したアノテーションによる評価、論文全文への対象拡大、および主張レベルでの引用検証が挙げられる。
本研究は、CORD-19データセットを用いた科学的質問応答におけるRetrieval-Augmented Generation (RAG) パイプラインの計算資源を考慮した実証的研究である。提案手法は、sentence-window chunking、BM25による疎な検索、BGE-M3による密な検索、Reciprocal Rank Fusion (RRF) による統合、およびオプションとしてのCross-encoderによる再ランキングを組み合わせた固定のパイプラインであり、コーパスの規模を1,034チャンク（1K論文）、5,160チャンク（5K論文）、15,480チャンク（15K論文）の3段階で評価している。実験の結果、ハイブリッド検索は疎な検索または密な検索のみを用いる手法よりも堅牢であり、1Kおよび15Kの規模において $\text{Recall@10} = 1.000$ を達成した。一方で、MS MARCOで学習されたCross-encoderを用いた再ランキングは、科学ドメインにおける精度を低下させており、ドメインの不一致がクエリとパッセージ間の強力な相互作用による利点を上回る可能性が示唆された。生成の忠実度はRAGASを用いて測定され、本設定ではコーパスの規模が増大するにつれて向上する傾向が見られた。なお、検索の評価にはハイブリッドシステムから導出された擬似的な関連性ラベルを使用しているため、本結果はベンチマークとしての主張ではなく、制御された比較証拠として扱う必要がある。
本研究は、科学文献を対象としたRetrieval-Augmented Generation (RAG) において、コーパスの規模が検索および再ランキングの挙動に与える影響を調査する実証的な研究である。CORD-19データセットを用い、前処理、チャンク分割、埋め込みモデル、生成設定を固定した状態で、論文サンプル数を $1\text{K}$、$5\text{K}$、$15\text{K}$ と段階的に変化させる制御された実験設計を行っている。手法としては、BM25による疎な検索とBGE-M3による密な検索をReciprocal Rank Fusion (RRF) で統合する手法を提案し、さらにMS MARCOで学習された既存のクロスエンコーダーによる再ランキングの効果を比較している。実験の結果、BM25とBGE-M3を融合させた手法が単独のコンポーネントよりも堅牢であることが示された一方で、MS MARCOで学習されたクロスエンコーダーを適用すると科学文献における精度が低下するという、ドメイン不一致による負の結果が明らかになった。本研究は、リソース制約のある科学的RAGにおける実用的な設計選択肢を、15個の評価クエリを用いた再現可能な形式で提示している。
科学的な質問応答（QA）において、BioASQやSciFact、COVID-QA、CORD-19といったベンチマークは、検索品質と根拠となるエビデンスの接地が極めて重要であることを示している。本研究は、新しい生成器の学習ではなく、実用的な科学的RAGパイプラインにおける検索および再ランキングの挙動に焦点を当てている。検索手法については、正確な用語や略語が重要な科学文献においてBM25が強力な語彙的ベースラインとして機能する一方、DPRやSPECTER、BGE-M3などの密ベクトル検索は語彙の重複を超えた意味的な一致を可能にする。これらを組み合わせたハイブリッド検索では、相互順位融合（RRF）を用いることで、疎な検索と密な検索の相補的な利点を活用できる。再ランキングに関しては、クエリとパッセージを同時にエンコードするクロスエンコーダが精度向上に寄与するが、MS MARCOで学習された再ランカーを科学的設定に適用すると精度が低下することが確認されている。評価指標としては、自動的な比較信号としてRAGASを用いるが、LLMベースの評価には判定モデルのバイアスが含まれる可能性があり、今後はFActScoreのような主張レベルの事実性指標を用いた引用の整合性評価が重要となる。
本研究では、CORD-19データセットを用い、計算コストと再現性を考慮して論文のタイトルと抄録を対象とした、1K、5K、15Kの3つのコーパス規模（チャンク数はそれぞれ1,034、5,160、15,480）による評価プロトコルを提案している。検索手法として、BGE-M3を用いたベクトル検索によるDense、BM25によるSparse、およびそれらをReciprocal Rank Fusion (RRF) で統合するHybridの3種類を比較しており、各手法から上位50件の候補を抽出して融合を行う。さらに、オプションとしてcross-encoder/ms-marco-MiniLM-L-6-v2を用いたリランキングを導入しているが、これはウェブ検索データで学習されているため、科学論文の抄録に対する有効性は経験的な検証が必要であるとしている。生成フェーズでは、GPT-4o-miniに対し、検索された文脈のみに基づきインデックスを引用して回答するよう指示を与え、RAGASの指標であるFaithfulness、Answer Relevancy、Context Precision、Context Recallを用いて評価を行う。検索性能の評価には、クエリごとにHybrid検索の上位3件を正解とする擬似的な関連性ラベルを用いたRecall@$k$およびPrecision@$k$を使用しているが、この手法はHybridシステムを有利にする循環性を孕んでいることや、15クエリという限定的なデータセットによる統計的精度の限界がある。
検索スケール（$1\text{K}$ および $15\text{K}$）における検索性能の評価では、ハイブリッド検索が最も堅牢であり、特に $15\text{K}$ スケールの $\text{Recall}@10$ において $1.000$ に達する。小規模なスケールでは密ベクトル検索（Dense retrieval）が競争力を持つ一方、BM25は特に $15\text{K}$ スケールの $\text{Recall}@1$ において高い性能を維持しており、ハイブリッド検索は単一のコンポーネントを用いるよりも大きなカットオフにおいて優れた性能を示す。一方で、MS MARCOで学習された汎用的なクロスエンコーダによる再ランキングを適用すると、精度が低下する傾向があり、$1\text{K}$ スケールの $\text{P}@5$ は $0.600$ から $0.04$ へ、$5\text{K}$ スケールでは $0.600$ から $0.368$ へと減少する。RAGASを用いた生成品質の評価では、スケールの拡大に伴い忠実度（Faithfulness）が $0.917$ から $0.960$ へ、回答の関連性（Answer relevancy）が $0.680$ から $0.870$ へと向上する。しかし、文脈精度（Context precision）は低い水準に留まっており、検索された文脈にはトピックに関連する内容は含まれるものの、常に厳密にターゲットを絞った箇所が抽出されているわけではないという限界が示されている。
計算資源が限られた環境下での科学分野向けRAGにおいては、BM25による疎な表現とBGE-M3による密な表現を組み合わせる手法が強力なデフォルト設定となる。これらは互いに補完的な証拠を抽出でき、Reciprocal Rank Fusion (RRF) を用いることで、計算規模を問わず簡便に統合が可能である。一方で、再ランキング（reranking）が常に有効とは限らず、MS MARCOで学習されたクロスエンコーダを科学ドメインのコーパスに適用すると、むしろランキング精度を低下させる結果が得られたため、導入前にドメイン適応の検証が必要である。また、計算資源を考慮した評価の重要性も示されており、1K規模の小規模な実験はデバッグには有用だが、15K規模になると検索挙動が変化するため、小規模実験の結果を最終的な性能の証拠として扱うべきではない。
本研究にはいくつかの限界が存在する。まず、インデックスの対象が論文のタイトルと抄録のみに限定されており、論文全文や図表が含まれていない。次に、検索の評価においてハイブリッド検索による上位3件の結果から擬似的な関連性ラベルを生成しているため、評価がハイブリッド手法に有利に働く可能性があり、独立したアノテーションによる評価の代替にはなり得ない。また、評価セットが15個のクエリで構成されているため、統計的な検出力が限定的である。さらに、RAGASを用いた評価は自動化された指標を提供するものの、人間による評価や主張レベルでの引用検証を完全に代替するものではない。以上の点から、本研究は完全な科学的QAベンチマークではなく、再現可能な実証研究および今後の研究の基礎として位置づけられる。
本研究では、CORD-19データセットを用いた科学的RAGにおける検索と再ランキングの計算コストを考慮した実証的研究であるSciRetを提示した。1K、5K、15Kの論文サンプルを用いた実験の結果、BM25とBGE-M3を組み合わせたハイブリッド検索は、単一のコンポーネントを用いるよりも堅牢であることが示された。一方で、MS MARCOで学習されたクロスエンコーダによる再ランキングは、本設定においては一貫して精度を低下させる結果となった。これらの知見は、標準的なRAGコンポーネントがウェブ検索の設定からそのまま転用できるとは限らず、科学的な質疑応答においては慎重な検証が必要であることを示唆している。本研究の検索評価は擬似関連性ラベルと小規模なクエリセットに基づいているため、今後の課題として、擬似ラベルによる循環性を排除するための独立した関連性アノテーション、タイトルや抄録を超えた全文ベースのエビデンス、科学文献に特化したドメイン適応型再ランキングモデル、および生成された回答を検証可能な根拠に結びつけるための主張レベルの引用検証が挙げられる。
本研究の評価は科学文献に基づいて行われており、新たな被験者データは導入されていない。科学的な質疑応答システムは生物医学的根拠に対するユーザーの解釈に影響を与える可能性があるため、生成された回答は専門家の査読なしに医療上の意思決定に使用すべきではない。現在のシステムはタイトルと抄録の根拠のみを使用しており、全文に含まれる重要な文脈を省略する可能性があるという限界がある。また、原稿の推敲や読みやすさの向上、校閲のために Claude や ChatGPT を利用しているが、核心となるアイデア、技術的な手法、および実験的な評価はすべて著者によって開発されており、最終的な内容については著者が全責任を負う。