エッジデバイス上でRAGを実行する際、検索されたコンテキストの増大は、生成時の遅延、KVキャッシュの占有、メモリ帯域の消費、およびエネルギー消費の増大を招く。従来のコンテキスト圧縮は、圧縮率が固定されているか、推論前にオフラインで決定されることが一般的である。しかし、圧縮処理自体も同じSoC上で動作するため、圧縮による生成コストの削減分が、圧縮器自体の遅延やエネルギー消費によって相殺される可能性がある。
既存のエッジRAG研究は、検索の効率化や固定的なコンテンツ削減に主眼を置いていた。これに対し本研究は、デバイスのテレメトリ情報に基づき、圧縮の実行有無や圧縮率を動的に決定する実行時制御の視点を導入した点に新規性がある。また、生成コストの削減分から圧縮器のオーバーヘッドを差し引いた「正味の利得」を評価指標として重視し、エッジSoCの計算資源を考慮した適応手法の必要性を明らかにした。
NVIDIA Jetson AGX Thorを用い、RAGの各ステージにおける遅延とエネルギー消費を測定する。圧縮手法には、抽出的なハード圧縮であり、連続的な圧縮率の調整が可能なLLMLingua-2を採用する。評価では、プロンプト短縮による生成コストの削減分が、圧縮プロセスに伴う遅延とエネルギー消費を上回る場合のみを正味の利得として算出する。ワークロードの特徴やデバイスのリアルタイムな状態（遅延、エネルギー、メモリ帯域、熱余裕など）に応じて、最適な圧縮率を選択する実行時ポリシーの構築を目指す。
LlamaおよびQwenの1Bから8Bパラメータのモデルを用い、Natural QuestionsおよびHotpotQAデータセットで評価を行った。7Bから8Bのモデルでは、生成プロセスがクエリあたりのレイテンシの約90%、GPUエネルギーの約91%を占めることが確認された。圧縮率を変化させた検証では、回答品質の低下を最小限に抑えつつ、GPUエネルギーを最大53.2%、SoC全体のエネルギーを最大48.2%削減できる中間的な圧縮領域が存在することを示した。一方で、1B程度の小規模モデルでは、埋め込みや検索の割合が増加するため、圧縮による改善の余地が減少することが示された。
圧縮による生成コストの削減が圧縮器の固定コストを上回る場合にのみ圧縮は有効であり、圧縮率が低すぎる（削減トークンが少ない）領域ではオーバーヘッドが削減分を上回るというトレードオフがある。実用的なコントローラーは、連続的な探索ではなく、モデルの識別子、コンテキストの長さ、直近のレイテンシ、熱余裕などの実行時信号に基づき、離散的な決定を行うことが考えられる。今後の課題として、より軽量な圧縮器の検討、量子化モデルへの適用、および検索の深さやリランカーの制御など、RAGパイプライン全体のパラメータを統合的に管理するコントローラーの構築が挙げられる。
本研究は、エッジデバイスにおける検索拡張生成（RAG）の課題に対し、テレメトリ情報に基づいた適応的なコンテキスト圧縮手法を提案している。従来のコンテキスト圧縮は圧縮率が固定されていることが多いが、エッジのSoCでは圧縮処理自体も計算資源を消費するため、圧縮による生成コストの削減分が圧縮のオーバーヘッドによって相殺される可能性がある。NVIDIA Jetson AGX Thorを用いた実験では、LlamaやQwenなどのモデル、Natural QuestionsやHotpotQAのデータセット、LLMLingua-2による圧縮を用いて、生成プロセスと圧縮プロセスのトレードオフを評価している。その結果、7Bから8Bパラメータのモデルでは、生成プロセスがクエリあたりのレイテンシの約90%、GPUエネルギーの約91%を占めることが判明した。適切な中間的な圧縮率を選択することで、推論品質の低下を最小限に抑えつつ、GPUエネルギーを最大53.2%、SoC全体のエネルギーを最大48.2%削減できることが示された。以上の知見に基づき、ワークロードの特徴とエッジデバイスのリアルタイムな状態に応じて、圧縮率を動的に管理する実行時ポリシーの重要性を論じている。
エッジデバイスで検索拡張生成（RAG）を実行する場合、検索されたコンテキストのトークン量が増加すると、生成時の遅延、KVキャッシュの占有量、メモリ帯域、および消費電力が増大するという課題があります。本研究では、指示文などは保持したまま検索された文書のみを圧縮するコンテキスト圧縮に着目し、エッジSoCのテレメトリ（遅延、エネルギー、メモリ帯域など）に基づいて実行時に圧縮率を動的に決定する適応的圧縮の枠組みを提案します。圧縮処理自体もSoCのリソースを消費するため、評価指標として、圧縮による生成コストの削減分から圧縮器自体のオーバーヘッドを差し引いた純利益を重視します。Jetson AGX Thor上で1Bから8BパラメータのLlamaおよびQwenモデルを用い、Natural QuestionsやHotpotQAデータセットで評価した結果、7Bから8Bのモデルでは生成プロセスが遅延やエネルギー消費の約90%以上を占めることが判明しました。適切な圧縮率を選択することで、回答の品質への影響を抑えつつ、GPUエネルギーを最大53.2%、SoC全体のエネルギーを最大48.2%削減できることが示されました。
RAG（検索拡張生成）は、オフラインでのインデックス作成と、オンラインでの検索および生成のフェーズで構成されます。検索された文脈が増えるほど生成モデルのプロンプト長が長くなり、メモリ帯域や電力、熱設計電力に制限のあるエッジデバイスでは、計算コストやエネルギー消費が増大するという課題があります。コンテキスト圧縮は、生成前に文脈を削減してこのコストを抑える手法であり、本研究では検索された文脈のうち保持するトークンの割合をrateと定義し、システムプロンプト等は維持したまま文脈のみを圧縮対象とします。圧縮手法にはテキストを直接編集するハード圧縮と潜在表現に変換するソフト圧縮がありますが、本研究では既存のパイプラインに組み込みやすく、圧縮後の長さが生成コストに直結する抽出的なハード圧縮に焦点を当てます。具体的には、軽量で連続的なrateの調整が可能なLLMLingua-2を代表的な圧縮器として用い、生成コストの削減、圧縮器自体のオーバーヘッド、および回答品質のトレードオフを評価します。既存のエッジRAG研究は検索の効率化や固定的なコンテンツ削減を主眼としていますが、デバイスのリアルタイムな制約に基づき、圧縮の実行有無やそのrateを動的に決定するランタイム制御の視点が欠落しています。
NVIDIA Jetson AGX Thorを用い、RAGMarkおよびHydraフレームワークを通じて、検索・圧縮・生成の各ステージにおける遅延とエネルギー消費を評価しました。圧縮の評価では、プロンプトの短縮による生成コストの削減分が、圧縮プロセス自体の遅延とエネルギー消費を上回る場合のみを正味の利得として算出しています。実験の結果、Llama-3.1-8Bなどの大規模モデルでは生成ステージが遅延の90%以上、GPUエネルギーの91%以上を占めるのに対し、Llama-3.2-1Bのような小規模モデルでは埋め込みと検索の割合が増加し、生成プロンプトの圧縮による改善の余地が減少することが示されました。圧縮率を変化させた評価では、F1スコアが急落する直前の圧縮率と、圧縮によるエネルギー削減が圧縮の計算コストを上回る開始点の間に、適応的に運用すべき領域が存在します。この領域において、品質を維持しつつエネルギーを節約できる「safe-aggressive」な圧縮率の設定は、モデルサイズや検索されるコンテキストの長さに応じて、正味のエネルギー節約効果が変動します。
エッジデバイスにおける適応的圧縮は、圧縮による生成コストの削減分が圧縮処理自体の固定コストを上回る場合にのみ有効であり、実験では8Bパラメータのモデルを用いた重いワークロードで最大53%、軽いワークロードで30%のGPUエネルギー削減が確認された。圧縮率が低い領域では、圧縮器のオーバーヘッドが削減分を上回るため、実用的なコントローラーは連続的な探索ではなく、モデルの識別子、検索されたコンテキストの長さ、直近のレイテンシ、熱余裕などの実行時信号に基づき、圧縮の実行や圧縮率の選択をワークロードに応じて切り替える離散的な決定を行うべきである。今後の研究課題として、ストリーミング方式やハードウェアを意識した軽量な圧縮器を用いることで、圧縮が利益をもたらす領域を拡大できるか、また、4ビット量子化やより大規模なモデルを用いた場合にエネルギー効率の分岐点がどのように変化するかを検証する必要がある。さらに、圧縮を単独の処理としてではなく、検索の深さやリランカーのカットオフ、クエリの書き換えといったRAGパイプライン全体の制御パラメータと統合し、テレメトリ情報に基づいて最適化する多変数コントローラーの構築が、エッジにおける効率的なグラウンデッド生成を実現する鍵となる。
本研究は、エッジ環境におけるRAG（検索拡張生成）において、コンテキスト圧縮を固定的な前処理ではなく、実行時のシステム制御パラメータとして扱うべきであるという展望を実証的な証拠に基づき提示している。Jetson AGX Thorを用いた測定により、エッジRAGのパイプラインでは生成プロセスがコストの大部分を占めること、圧縮の導入が正味のエネルギー消費量の大幅な削減に寄与すること、そしてその効果はワークロードや圧縮率に依存することが明らかになった。エネルギー消費量と生成品質のトレードオフにおいて、両者が最適となる地点に乖離があることが観測されており、これはテレメトリ情報に基づいた適応的な圧縮の可能性を示している。今後のエッジRAGシステムは、ワークロードの特徴やSoC（System on Chip）のリアルタイムな状態を利用して、圧縮の計算コストを上回るメリットがあるか、およびどの程度の強度で圧縮を適用すべきかを決定すべきである。