本研究は、Retrieval-Augmented Generation (RAG) システムにおいて、学術論文のような内部構造を持つ長大な文書を適切に分割するためのチャンキング戦略の有効性を検証している。具体的には、固定サイズ（Fixed-Sized Chunking）、構造的区切りを利用する再帰的分割（Recursive Chunking）、および文の類似度に基づくクラスターベースのセマンティック・チャンキング（Cluster-Based Chunking）の3手法を比較対象としている。評価の枠組みとしてRAGAsフレームワークを用い、中規模なハードウェア制約下での評価の妥当性についても検討している。
本研究の主な貢献は、回答の忠実度（faithfulness）と関連性（answer relevancy）の調和平均を用いた新たな指標である Answer Quality Score (AQS) を定義した点にある。AQSは $\text{AQS} = 2 \cdot \frac{\text{faithfulness} \cdot \text{relevancy}}{\text{faithfulness} + \text{relevancy}}$ と定義され、一方が極端に低い場合にペナルティを与える設計となっている。また、RAGAsを用いた評価において、Faithfulnessの算出が失敗するケースが頻発することや、検索精度が低い状況でもLLMが回答を生成してしまう現象を指摘し、指標の限界を明らかにした。
実験では、13の学位論文（単語数 10,232〜26,960、中央値 約16,000）をデータセットとして使用した。チャンキング手法として、150単語・オーバーラップ15単語のFixed-Sized、構造に基づくRecursive、および `all-MiniLM-L6-v2` を用いて文を結合するCluster-Basedの3種を比較した。計算環境は VRAM 16GiB の制約下で、生成器に `llama3.2:3b`、評価器に `deepseek-r1:8b`、埋め込みモデルに `all-MiniLM-L6-v2` を採用している。評価指標には、TF-IDF bigram cosine similarity、Context F1、および定義した AQS を用いて、著者に関する一般的な質問5件と論文固有の質問5件の計10件のクエリで測定を行った。
390件の測定の結果、Faithfulnessの算出は手法によらず約42%〜47%の割合で失敗した。Context F1において、固定質問では全てのチャンカーのメディアンが0であったが、自由質問ではRecursiveが約0.5、Fixed-Sizedが約0.3のメディアンを記録した。AQSの結果では、自由質問においてFixed-SizedとRecursiveがメディアン約0.65に達したのに対し、Cluster-Basedは0.40と最も低い値を示した。特にRecursiveは四分位範囲（IQR）が最も狭く、生成品質の安定性が確認された。
実験結果から、クラスターベースのセマンティック・チャンキングは計算コストを増大させるだけで、単純な戦略を上回る性能は示さないことが示唆された。固定質問において検索スコアがほぼ0であるにもかかわらず生成スコアが維持される現象は、LLMが学術論文の構造に関するパラメトリックな知識を利用しているか、RAGAsのAnswer Relevancyが検索コンテキストに依存せず報酬を与える特性を持つためと考えられる。今後の課題として、より大規模な埋め込みモデルの利用や、指標の不備を特定するための人間によるアノテーションを用いた検証の必要性が挙げられている。
本研究では、学術論文のような構造化された長い文書を対象に、Retrieval-Augmented Generation (RAG) システムにおけるチャンク分割戦略の有効性を評価している。具体的には、固定サイズ（fixed-size）および再帰的（recursive）なチャンク分割に対し、クラスターベースのセマンティック・チャンキング（cluster-based semantic chunking）が検索精度および回答の質を向上させるかを、RAGAsフレームワークを用いて検証した。実験の結果、RAGAsの指標である faithfulness（忠実性）は、本設定においては限定的な信頼性しか示さないことが明らかになった。また、固定的な質問と文書固有の質問に対する性能には大幅な差異が見られ、これは文書のフォーマットや前処理に起因すると考えられる。最終的に、テストされた構成条件下では、クラスターベースのチャンキングはより単純な戦略を上回る性能を示すことはなかった。
LLMのハルシネーションや知識の限界を解消するRetrieval-Augmented Generation (RAG) において、埋め込みモデルやコンテキストウィンドウの制約から、長大な文書を適切なサイズに分割するチャンキング戦略が不可欠となる。従来の固定長チャンキングやフォーマットに基づく再帰的チャンキングに対し、文の類似度を利用するセマンティック・チャンキングは検索精度の向上が期待されるものの、クラスタリングベースの手法などは計算コストが高いという課題がある。本研究では、回答の忠実度（faithfulness）と回答の関連性（answer relevancy）を組み合わせた新たな指標である Answer Quality Score (AQS) を定義する。さらに、中程度のスペックのハードウェアにおける RAGAs を用いた評価の課題を指摘するとともに、異なるチャンキング戦略が RAG システムの性能に与える影響を RAGAs を用いて検証する。
Qu et al. は、単純な固定サイズチャンキングが最も費用対効果が高いことを示しているが、その実験は元の文書と人工的に結合された文書の混合データセットで行われており、本研究のような大規模かつ内部構造を持つ文書への汎用性には疑問が残る。また、本研究ではハードウェア制約により小型の文エンコーダを使用しているため、先行研究との直接的な比較には限界がある。Late Chunking は、長文脈モデルを用いて文書全体を埋め込み、その後にチャンキングと平均プーリングを行うことで、チャンキング後に埋め込みを行う従来のパイプラインよりも周囲の文脈を保持したチャンクベクトルを生成する手法である。さらに Reisinger et al. は、チャンク埋め込みの階層構造から文書レベルの知識グラフを構築することで、生成的な判定器を用いずに、入力や文脈の矛盾に起因するハルシネーションを抑制する手法を提案している。
本研究では、RAGにおけるチャンク分割戦略として、150単語・オーバーラップ15単語のFixed-Sized Chunking、構造的区切りを用いるRecursive Chunking、および`all-MiniLM-L6-v2`を用いて意味的に類似した文を結合するCluster-Based Chunkingの3手法を比較している。評価にはRAGAsフレームワークを用い、VRAM制約（16GiB）下で`llama3.2:3b`を生成器、`deepseek-r1:8b`を評価器、`all-MiniLM-L6-v2`を埋め込みモデルとして設定した。指標として、TF-IDF bigram cosine similarity（2文書以上に現れるbigramのみ対象）に加え、文脈の適合性を測るContext F1、およびFaithfulness（生成回答内の主張が文脈に支持されている割合）とAnswer Relevancy（質問と生成回答に基づく人工的な質問との類似度）の調和平均であるAnswer Quality Score (AQS) を定義している。具体的にAQSは、$\text{AQS} = 2 \cdot \frac{\text{faithfulness} \cdot \text{relevancy}}{\text{faithfulness} + \text{relevancy}}$ と計算され、一方が低い場合にペナルティを与える設計となっている。実験データセットは、単語数が10,232から26,960（中央値約16,000）の13の学位論文で構成され、著者に関する一般的な質問5件と論文固有の質問5件の計10件のクエリを用いて評価を行っている。
390件の測定を行った評価実験において、Faithfulnessの算出が44%のケースで失敗し、その内訳はrecursive chunkingで47%、cluster-based chunkingで42%、fixed-sized chunkingで44%と、手法によらず均等に発生した。Context F1の評価では、固定質問（fixed questions）において全てのチャンカーのメディアンが0であったが、これは目次などの構造的ノイズがインデックスと検索を汚染しているためであり、自由質問（free questions）ではrecursive chunkingが約0.5、fixed-sized chunkingが約0.3のメディアンを記録して性能が向上した。AQS（Answer Quality Score）の結果では、自由質問においてfixed-sizedとrecursiveの両方がメディアン約0.65に達したが、特にrecursiveは四分位範囲（IQR）が最も狭く、生成品質の安定性を示した。一方で、cluster-based chunkingはAQSのメディアンが0.40と最も低かった。固定質問において検索スコアがほぼ0であるにもかかわらず生成スコアが中程度を維持している現象は、LLMが学術論文の一般的な構造に関するパラメトリックな知識を用いて回答している可能性や、RAGAsのAnswer Relevancyが検索コンテキストに依存せず報酬を与える特性に起因すると分析されている。
本研究では、学術論文コーパスを対象に、RAGAsフレームワークと中規模ハードウェア（小規模な埋め込み・生成・評価モデル）を用いた3種類のチャンキング戦略の性能評価を行った。実験の結果、固定された質問に対する検索チャンクの品質は限定的であった一方、自由形式の質問に対しては中程度の品質を示し、回答品質は概ね良好であったが、モデルの容量不足やドキュメントの専門性の高さに起因すると考えられる忠実性（faithfulness）の低下に注意が必要である。クラスターベースのセマンティック・チャンキングは、計算複雑性を増大させるのみで一貫した改善は見られず、ドキュメントの種類に依存するものの、より単純なチャンキング戦略の方が全体として信頼性が高い傾向にあった。今後の展望として、より大規模な埋め込みモデルの利用や、クラスターベースの手法における異なるクラスタリングアルゴリズムの検討、およびRAGAsのコンテキスト・リコールをIDベースの手法へ更新することが挙げられる。さらに、F1スコアとAQS（Answer Quality Score）の乖離が、真の検索問題なのか指標のアーティファクト（不備）なのかを特定するため、人間によるアノテーションを用いたチャンク関連性の検証が必要である。