クラウドに依存する大規模言語モデル（LLM）サービスは、高額な費用とスケーラビリティの限界、負荷時の性能不安定さが課題である。一方、エッジデバイス上で小規模言語モデル（SLM）を用いた検索拡張生成（RAG）を行う場合、個々のデバイスの限られたリソースにより知識の網羅性が不足し、クラウドLLMとの精度差が生じる。また、クエリの複雑さに応じて最適なモデル構成や検索パラメータを動的に選択することも困難である。
単一デバイスの制約を打破するため、知識グラフを軽量な表現に圧縮してデバイス間で共有し、知識の網羅性を拡大する分散型アーキテクチャを提案する。さらに、クエリの特性に応じてSLMのサイズ、量子化精度、およびRAGの取得パラメータを適応的に選択する、ベイズオンライン学習に基づくクエリ適応型オプティマイザを導入した。これにより、エッジ環境における精度とコスト効率のトレードオフを最適化できる。
検索プロセスでは、まずエンティティと関係性のみで構成される軽量な知識グラフに対して、用語ベースの疎な検索を行い、関連するエンティティを特定する。次に、特定されたエンティティに基づき、近隣のピアデバイスのベクトルデータベースからデータチャンクと埋め込みを取得する密な検索を行う。生成プロセスでは、コンテキスト付き多目的マルチアームドバンディット問題として定式化されたオプティマイザが、ガウス過程を用いたベイズオンライン学習により、SLMの構成とRAGのパラメータを決定する。この際、精度と効率性のバランスを制御する重みパラメータを、過去の精度やリソース使用量に基づき動的に調整し、UCB（Upper Confidence Bound）を用いて探索と活用のバランスを取りながら期待効用を最大化する。
Jetsonシリーズ、Galaxy S25 Ultra、RTX 4090/5090などの異種混合デバイスを用いたテストベッドにおいて、Natural Questions（NQ）およびHotpotQAデータセットを用いて評価した。比較対象は中央集約型のサービスである。評価の結果、DEFRAGは中央集約型と比較してコストを最大98.4%削減し、ピーク時のスループットを最大97.8%向上させた。また、SLMとLLMの精度差を、NQでは12.7%から6.4%へ、HotpotQAでは7.1%から2.3%へと縮小させた。
ガウス過程の計算量に伴うオーバーヘッドを抑えるため、定期的なモデル更新やスライディングウィンドウによる学習データの制限を行っているが、これは計算負荷と予測精度のトレードオフの関係にある。また、初期の探索ステップ数（T0）の設定が収束性に影響を与える。今後の課題として、クエリの構造や複雑さをより詳細に捉えるためのコンテキスト特徴量の高度化や、関連性スコアの分布を用いたクエリ解釈の精度向上が挙げられる。
本論文は、クラウド集約型のLLMサービスにおける高コストとスケーラビリティの限界を解消するため、異種混合のエッジデバイス間で分散協調を行うRAGシステム「DEFRAG」を提案している。DEFRAGは、検索フェーズにおいて知識グラフを圧縮・共有し、ハイブリッド検索を用いることで知識の網羅性を拡大する。生成フェーズでは、クエリごとに最適な小規模言語モデル（SLM）とRAGのパラメータを適応的に選択する、ベイズ最適化に基づくクエリ適応型オプティマイザを導入している。このオプティマイザは、クエリ、検索コンテキスト、生成設定の間の複雑な非線形相互作用をモデル化することで、限られたデータでも高い精度を実現する。異種混合のエッジテストベッドを用いた評価の結果、DEFRAGは中央集約型サービスと比較して、コストを最大98.4%削減し、ピーク時のスループットを最大97.8%向上させるとともに、SLMとLLMの間の精度差を縮小させている。
提案手法であるDEFRAGは、異種混合なエッジデバイス間でデータストレージと計算リソースを共有する、分散型エッジ協調RAGアーキテクチャである。本手法は、知識グラフを埋め込みを用いない軽量なエンティティ・関係表現に圧縮してデバイス間で共有することで、個々のデバイスのストレージ制限を克服し、知識の断片化を防ぐ。また、クエリごとにRAGの生成パラメータとSLMの構成を適応的に選択するオプティマイザを備えており、履歴データに基づいたオンライン更新によって精度とコスト効率のバランスを最適化する。実験の結果、DEFRAGは2つのQAベンチマークにおいて、エッジベースのSLMとクラウドベースのLLMとの精度差を、それぞれ12.7%と7.1%から6.4%と2.3%へと縮小させた。コスト面では、ピア間のリソース共有により最大98.4%の費用削減を実現し、スケーラビリティにおいても、同時ユーザー数の増加に伴い中央集権型サービスより最大97.8%高いピークスループットを達成した。
本研究では、エッジデバイスにおける小規模言語モデル（SLM）の性能を評価するため、Qwen3シリーズの1.7Bから14Bのモデルを用い、4ビット、8ビット、および半精度での量子化を対象とした実験を行っています。評価にはJetsonシリーズやGalaxy S25 Ultra、RTX 4090などの多様なデバイスを使用し、Natural Questions（単一ホップ質問）とHotpotQA（マルチホップ質問）のデータセットを用いて、標準的なRAGおよび知識グラフを活用したGraphRAGの精度をGPT-4.1により測定しています。実験の結果、標準的なRAGは単一ホップの質問においてLLMとの精度差を大幅に縮める一方で、マルチホップの質問では論理的関係を捉えきれず精度向上が限定的であることが示されました。これに対し、SLMの処理能力に合わせて、取得するエンティティ、関係性、およびデータチャンクの数を制限した簡略版GraphRAGを導入することで、HotpotQAにおける推論精度を向上させ、LLMとの精度差をさらに縮小させています。また、検索結果の関連性スコアの閾値を高く設定すると、カバー範囲は減少するものの、SLMの精度は向上するという傾向が確認されています。これらの結果から、クエリの特性や関連性スコアに応じて、SLMの規模やRAGのパラメータを動的に選択することが、精度向上とリソース効率の維持に有効であると考えられます。
DEFRAGは、エッジデバイス間の分散型コラボレーションを通じて、RAG（検索拡張生成）の知識範囲と生成品質を向上させるアーキテクチャである。検索フェーズでは、ベクトルデータベースと比較して約35分の1と軽量な、エンティティと関係性のみで構成される知識グラフを各デバイス間で共有する。まず、共有された知識グラフに対してBM25などの手法を用いた疎な検索を行い、関連するエンティティを特定する。次に、特定されたエンティティに基づき、近隣のピアデバイスから対応するベクトルデータベースを探索してデータチャンクと埋め込みを取得する密な検索を行うことで、知識の広さと深さを両立させている。生成フェーズでは、検索時に得られたコンテキスト特徴量に基づき、小規模言語モデル（SLM）の設定やRAGのパラメータを動的に調整する最適化手法を用いる。この最適化は、コンテキスト付き多目的マルチアームドバンディット（CMOMAB）問題として定式化されており、期待される精度と効率性のバランスを考慮した効用関数を最大化するように設計されている。例えば、複数の関連エンティティを含む複雑な推論が必要なクエリには高性能なモデルを、単一のエンティティに基づく単純なクエリには軽量なモデルを選択することで、異種混合なエッジ環境においてクラウドLLMに近い精度と効率的な動作を実現している。
DEFRAGは、クエリごとに最適な生成パラメータを選択するために、多目的最適化を用いた適応的な生成手法を提案している。アクション空間は、小規模言語モデル（SLM）のサイズや量子化精度、およびRAGによる構造化情報（エンティティや関係性）と非構造化情報（データチャンク）の取得数の組み合わせで構成される。各アクションの評価には、正解との一致度に基づく精度と、モデルのコストおよび入力トークン長に基づく効率性の2つの指標を用いる。精度と効率性のバランスは、加重幾何平均を用いた短期的な目的関数によって決定される。この重みパラメータは、平均精度が目標値を下回った場合に精度を重視し、目標値を上回った場合に効率を重視するように動的に調整される。また、コンテキストとアクションの間の非線形な関係を捉えるため、ガウス過程を用いたベイズオンライン学習を採用しており、Matérnカーネルを用いることで、予測の不確実性を考慮した探索と活用のバランスを実現している。
DEFRAG-BOLは、ガウス過程を用いたベイズオンライン学習により、分散エッジ環境におけるRAGの精度と効率を最適化するアルゴリズムです。この手法は、目標精度を下回った際に精度重視の重みを増やし、入力トークン長やモデルコストが制限を超えた際に効率性の重みを調整することで、リソース利用の最適化を図ります。アルゴリズムは、初期のランダム探索フェーズを経て、ガウス過程の予測平均と不確実性を組み合わせたUCB（Upper Confidence Bound）に基づく効用関数を最大化する活用フェーズへと移行します。計算負荷を軽減するため、ガウス過程の更新は毎クエリではなく一定周期ごとに行い、さらに直近のクエリのみを保持するスライディングウィンドウを用いることで、計算量の増大とデータの陳腐化を防いでいます。理論的な解析では、累積リグレットが時間Tに対して O(sqrt(T * log(1 + sigma^-2))) のオーダーで抑えられることが示されています。実験では、NVIDIA JetsonシリーズやRTX 5090を搭載したワークステーションなど、異なる計算能力を持つ複数のエッジデバイスを用いたテストベッドを構築し、WikipediaやHotpotQAのデータセットを用いて評価を行っています。
提案手法であるDEFRAGは、ガウス過程を用いることで累積リグレットの理論的な上限が、時間Tの平方根に比例するオーダー、すなわち O(sqrt(T) * lambda_I) で抑えられることが証明されています。実験では、スマートフォンやNVIDIA Jetsonを含む6台の異種エッジデバイスを用いたプロトタイプ環境において、NQデータセットとHotpotQAデータセットを用いて評価を行いました。評価指標には回答精度、推論とネットワーク転送を合わせた総コスト、およびスループットが用いられています。実験の結果、DEFRAGはLLM-235Bとの精度差を大幅に縮小させるとともに、デバイス間の相互リソース共有によりコストを最大98.4%削減し、同時実行ユーザー数が増加した場合でも中央集権的な手法より最大97.8%高いピークスループットを実現する優れたスケーラビリティを示しました。アブレーション研究では、初期探索ステップ数（T0）が精度と効率性の収束に与える影響を調査しており、T0が200以上の設定において両指標が収束することを確認したため、最終的な設定としてT0 = 200を採用しています。
提案手法であるDEFRAGは、エッジデバイス間の分散協調を利用してRAG（検索拡張生成）を実行することで、クラウドベースのLLMとエッジベースのSLM（小規模言語モデル）の間の精度差を大幅に縮小させます。NQおよびHotpotQAという2つのベンチマークデータセットを用いた実験では、精度を重視した設定において、SLM-14Bの精度がNQで61.5%、HotpotQAで76.6%まで向上することが示されました。クエリの構造や複雑さを捉えるコンテキスト特徴量を組み込むことで、最適化器が動的にアクションを調整できるようになります。さらに、関連性スコアの分布に関する豊かな表現を用いることで、最適化器がクエリをより適切に解釈することが可能となります。