検索拡張生成(RAG)では、非構造化テキストのベクトル類似度検索、エンティティ間の関係性を辿るグラフ探索、および構造化属性に基づくリレーショナルなフィルタリングの統合が求められる。しかし、従来のアーキテクチャでは、複数の専門的なデータベースをアプリケーション層で組み合わせる手法による中間データの転送オーバーヘッドや、既存データベースの拡張機能を用いる手法による実行効率の低下が課題となっていた。
グラフと関係データの統合クエリ処理を実現した先行研究Chimeraに対し、ネイティブなベクトルサポートを拡張することで、3つのデータモダリティを単一の実行フレームワーク内で調整可能なアーキテクチャを実現した。これにより、ベクトル・グラフ・リレーショナルの各操作を単一の実行計画内でシームレスに構成することを可能にした。
ストレージ層では、隣接リストによるグラフ構造、PostgreSQLベースのリレーショナル構造、およびセグメントと呼ばれるディスクベースのベクトル構造を共存させ、共通のトランザクションマネージャによってデータの一貫性を保証する。クエリ処理層では、グラフ探索とリレーショナルな結合を同時に行うTraversal-Join演算子を拡張し、近似最近傍探索をイテレータ形式の演算子として組み込んでいる。これにより、各検索様式を単一の実行計画内で逐次的に生成し、最終的な件数制限を効率的に適用する。
Agriculture、CS、Legal、Mixの4つのデータセットを用い、PostgreSQLの拡張機能構成、Neo4jとMilvusの外部統合構成、およびNeo4jのベクトル拡張構成と比較した。評価指標には、LLMによる回答の勝率と、最初のトークン生成までの時間(TTFT)を用いた。実験の結果、Omni RAGはVector RAGと比較して回答の勝率が4から28パーセントポイント向上した。また、選択率20%の設定において、AkasicDBは最も低い検索時間を達成し、PGVector+AGE構成と比較して数桁、Neo4jとMilvusの構成と比較して2から9倍のレイテンシ削減を実現した。
生成時間は主にLLMの推論に依存するため、検索時間の短縮が必ずしも全体のレイテンシ削減に直結しない場合がある。
AkasicDBは、ベクトル類似性検索、グラフ探索、およびリレーショナルなフィルタリングを単一の実行フレームワーク内で統合的に実行することで、Omni RAGと呼ばれる検索拡張生成ワークフローをネイティブにサポートするデータベースシステムです。従来のRAGシステムは、ベクトル検索と構造化知識を組み合わせる際に、データベース外のパイプラインや非ネイティブな統合に依存していたため、高いオーバーヘッドが生じるという課題がありました。本システムは、先行研究であるChimeraにネイティブなベクトルサポートを拡張することで、ベクトル・グラフ・リレーショナルの3要素を統合した実行を実現しています。デモンストレーションでは、対話型のチャット形式を通じて、ベクトルのみの手法と比較した際の検索および推論における優位性を示すとともに、既存のデータベースアーキテクチャがOmni RAGをサポートする際の限界を可視化しています。
Retrieval-Augmented Generation (RAG)は、外部知識を用いて大規模言語モデルの事実性と推論能力を向上させる手法ですが、既存の多くはベクトル類似度に基づく検索に依存しています。近年の研究では、グラフ探索を用いるGraph RAGや、関係述語を用いて検索範囲を制限するFiltered vector searchが登場していますが、これらは個別に発展しており、ベクトル、グラフ、関係データの3要素を単一のワークフロー内で統合的に扱う仕組みは存在しません。この課題は、これら全ての検索様式を単一の実行フレームワーク内でネイティブに統合できるデータベースアーキテクチャが欠如していることに起因します。本論文では、グラフと関係データの統合クエリ処理を実現したChimeraを基盤とし、ベクトル検索機能をネイティブに拡張したAkasicDBを提案します。AkasicDBは、ベクトル類似度検索、グラフ探索、および関係フィルタリングを同一の実行フレームワーク内で実現するOmni RAGを可能にします。本研究では、Webインターフェースを通じてこれら3つのデータ形式を可視化しながらRAGを実行するデモンストレーションを行い、従来のベクトルのみの手法や、外部システムを組み合わせた統合手法、あるいは拡張機能を用いた非ネイティブな統合手法と比較して、Omni RAGの有効性と実用的な優位性を示します。
Vector RAGは、ユーザーの質問と文書の断片を共通のベクトル空間に埋め込み、その類似度に基づいて関連するテキストを検索する手法であり、大規模な非構造化テキストの活用に有効である。これに対しGraph RAGは、文書内のエンティティ間の関係性を明示的に構築した知識グラフを利用し、個別のテキスト断片ではなくエンティティ間のつながりを辿ることで、より包括的な文脈を提供することを目指す。また、Filtered vector searchは、タイムスタンプやエンティティの種類といった構造化されたメタデータを用いて検索範囲を制限することで、検索の精度を向上させる。本論文では、これら補完的な手法を統合したOmni RAGを定義しており、これは非構造化テキストに対するベクトル類似度検索、エンティティ間の関係性を辿るグラフ探索、および構造化属性に基づくリレーショナルなフィルタリングを、各モダリティから何を検索すべきかを明示的に指定しながら共同で行う枠組みである。
既存のOmni RAGの実装では、複数の専門的なデータベースを個別に操作してアプリケーション層で結果を統合する手法が一般的ですが、各システムの選択性が事前に不明なため、必要以上に多くの中間データを生成・転送することになり、遅延やリソースの浪費を招く課題があります。また、拡張機能を用いて単一のクエリで記述できるシステムであっても、グラフ探索がリレーショナルな結合に変換されたり、ベクトル検索が汎用的な配列として処理されたりするため、実行効率が低いという問題があります。AkasicDBは、ベクトル、グラフ、リレーショナルデータの専用ストレージと、それらを単一の実行フレームワーク内で調整する統合クエリ処理層を備えた、ネイティブな統合アーキテクチャを採用しています。ストレージ面では、隣接リストによるグラフ構造、PostgreSQLベースのリレーショナル構造、およびセグメントと呼ばれるディスクベースのベクトル構造を共存させ、共通のトランザクションマネージャによってデータの一貫性を保証しています。クエリ処理においては、グラフの探索とリレーショナルな結合を同時に行うTraversal-Join演算子を拡張し、近似最近傍探索をイテレータ形式の演算子として組み込んでいます。これにより、ベクトル、グラフ、リレーショナル操作を単一の実行計画内でシームレスに構成し、最終的な件数制限を効率的に適用することが可能になります。
AkasicDBのデモンストレーションは、RAGモードと対象システムの選択、知識ドメイン、LLM、および質問の入力から始まり、回答生成と検索統計の確認に至る6つのステップで構成される。検索統計の検証では、グラフの頂点やエッジの走査数、リレーショナルな実体の選択数、テキストチャンクの取得数といったモダリティごとの詳細を確認でき、グラフ、リレーショナル、チャンクの各ビューを用いて視覚的な詳細調査が可能である。シナリオ1では、同一の質問に対してVector RAGとOmni RAGの回答を並べて表示し、ユーザーによる投票とLLMを用いた評価の両面から回答の質を比較できる。シナリオ2では、バックエンドシステムや日付範囲を変更して検索の選択性を制御することで、検索時間と生成時間を個別に計測し、データベースアーキテクチャがRAGの応答性能に与える影響を直接比較できる。
UltraDomainベンチマークから派生したAgriculture、CS、Legal、Mixの4つのデータセットを用い、AkasicDBの性能を、PostgreSQLの拡張機能を用いた構成、Neo4jとMilvusを組み合わせた外部統合構成、およびNeo4jのベクトル拡張を用いた構成と比較評価しています。評価指標として、LLMを用いた回答の勝率と、検索および生成時間を含む最初のトークン生成までの時間(TTFT)を用いています。実験の結果、Omni RAGはすべてのデータセットにおいてVector RAGよりも回答の勝率が4から28パーセントポイント高く、特にMixデータセットで最大の改善が見られました。これは、グラフ、リレーショナル、ベクトルの情報を統合的に活用することが、ベクトルのみの検索よりも正確な回答につながることを示しています。システム効率の面では、選択率20パーセントの設定において、AkasicDBはすべてのデータセットで最も低い検索時間を達成し、PGVector+AGEと比較して数桁、Neo4jとMilvusの構成と比較して2から9倍のレイテンシ削減を実現しています。
本デモンストレーションでは、ベクトル、グラフ、リレーショナルデータを単一のシステム内で効率的に処理し、Omni RAGを実現する統合データベース管理システムであるAkasicDBを提示した。既存のアーキテクチャではOmni RAGの実装が困難であるという課題に対し、AkasicDBはこれらを統合的に扱うことで対応している。インタラクティブなシナリオを通じて、ユーザーはベクトル検索のみを用いたRAGとOmni RAGによる応答の品質を比較できるほか、システム間での性能差を直接確認することが可能である。総じて、本デモンストレーションは、新たなRAGワークロードにおいて、ベクトル・グラフ・リレーショナル処理を統合することの実用的な利点を示している。