検索拡張生成（RAG）において、クエリの機密性や検索結果のプライバシーを保護しつつ、効率的に関連ドキュメントを抽出する仕組みを対象としている。従来の準同型暗号を用いたトップ$k$検索では、膨大なペアワイズ比較や高コストな多項式近似が必要となり、計算量がコーパスサイズに対して二次関数的に増大するため、実用的な遅延が得られないという困難があった。
従来の暗号化検索が多段階の対話や反復的な探索を必要としていたのに対し、検索サーバが単一の暗号化クエリを受け取り、一度の処理で結果を返す非対話的な構成を実現している。また、CKKSスキームの近似計算に伴う数値誤差が離散的なトークン再構成を妨げる問題に対し、精度安定型のマスク偏極法を導入することで、近似的な準同型選択と正確なトークン復元の乖離を解消している。
クライアント、検索サーバ、LLMサーバの3者構成を採用し、LLMサーバが秘密鍵を保持することで検索サーバによる復号を防止する。検索プロセスでは、平文の文書埋め込み行列 $\mathbf{E}$ と暗号化されたクエリ $\mathbf{c}_q$ の積により、CKKSのSIMDパッキングを用いた効率的なコサイン類似度計算 $\mathbf{c}_s = \mathbf{E} \cdot \mathbf{c}_q$ を行う。文書の選択には、チェビシェフ近似を用いた多項式インジケータ関数 $m_i = \mathbb{I}(s_i > \tau)$ を用いて閾値 $\tau$ を超えるドキュメントを特定する。さらに、近似誤差を $\epsilon \cdot |x - \text{target}|^3$ のオーダーで収縮させるため、境界付近で3次の平坦性を持つ7次多項式 $P(x)$ を用いたマスク偏極法を適用し、語彙サイズ $V$ に対して $|\delta| < \frac{1}{V}$ の精度条件を満たすように設計されている。最終的に、暗号化されたマスクを用いてトークン行列 $\mathbf{T}$ に対して列ごとの要素積 $\mathbf{c}_{T,j} = \mathbf{m} \odot \mathbf{T}_{:,j}$ を計算し、全行を含む暗号化行列を返送する。
MS MARCO、Natural Questions、HotpotQA、FiQAのデータセットを用い、BGE-baseモデルによる384次元の正規化埋め込みを対象に評価を行った。Recall、Token Accuracy、Document Accuracy、Latencyなどの指標を用いた結果、提案手法は平文およびランキングベースの暗号化手法と同等の精度を維持しながら、実行時間を16579.9秒から1051.8秒へと大幅に短縮した。計算コストの内訳では、類似度計算が31.9%を占め、トークンの復号と再構成を合わせると全体の約半分に達することが示された。
本手法はクエリと選択プロセスのプライバシー保護に特化しており、検索サーバ上に平文で保存されているドキュメントコーパス自体の秘匿性は保護対象外である。また、閾値 $\tau$ の設定にはトレードオフが存在し、閾値を高く設定しすぎると、選択されるドキュメント数が平均1つに減少する一方でRecallが0.5まで低下する。今後の課題として、ドキュメントの復元処理がエンドツーエンドのパイプラインにおける主要なボトルネックとなっている点が挙げられる。
本研究は、プライバシーを保護した検索拡張生成（RAG）を実現するために、閾値選択に基づく非対話型の準同型暗号化検索フレームワークであるGoldenRetrieverを提案している。従来の暗号化検索手法は、暗号化状態でのランキング処理に多大な計算コストを要し、計算量がコーパスサイズに対して二次関数的になる課題があったが、本手法は類似度スコアが事前に定義された閾値を超えるドキュメントを選択することで、計算量を $O(n)$ の線形時間へと削減している。実装にはCKKSスキームを用いた準同型演算を採用しており、クエリ内容や中間スコア、選択されたインデックスを一切明かすことなく、完全に暗号化された状態での類似度評価とドキュメント選択を可能にしている。また、近似的な暗号計算と離散的なトークン再構成の乖離を埋めるため、選択されたドキュメントの正確な復元を保証する精度安定型のマスク偏極法を導入している。標準的な検索ベンチマークを用いた実験の結果、本手法はランキングベースの暗号化手法と比較して、検索の有効性を維持しつつレイテンシを大幅に低減できることが示された。
RAG（Retrieval-Augmented Generation）におけるプライバシー保護の課題に対し、本研究は非対話的な準同型暗号を用いた検索フレームワークであるGoldenRetrieverを提案している。従来の準同型暗号を用いたトップ$k$検索は、膨大なペアワイズ比較や高コストな多項式近似を必要とするため、計算量がコーパスサイズに対して二次関数的に増大し、実用的な遅延を実現できないという問題がある。これに対し、提案手法はドキュメントを明示的にソートする代わりに、類似度スコアが事前に定義された閾値を超えるドキュメントを選択する閾値ベースの選択手法を採用しており、計算量をコーパスサイズに対して線形 $O(n)$ に削減している。具体的には、CKKS準同型暗号スキーム下で多項式インジケータ関数を用いて暗号化された類似度評価とフィルタリングを行い、さらにCKKSの近似計算に伴う精度低下を克服するために、離散的なトークン再構成を可能にする精度安定なマスク偏極法（mask polarization method）を導入している。複数のベンチマークを用いた実験の結果、提案手法はプレーンテキストのベースラインと同等の検索性能を維持しつつ、従来のトップ$k$ランキング方式と比較して大幅な低遅延化を実現している。
既存のプライバシー保護型RAG研究であるRemoteRAGやSecureRAGなどは、埋め込みの摂動やセキュアな距離計算、文書アクセスの制御を導入しているが、多くは多段階または対話的な検索手順に依存しており、通信オーバーヘッドやアクセスパターンの漏洩が課題となっている。また、PIRやMPC、HEを用いたセキュアな検索技術は、クエリ内容や検索行動を隠蔽できるものの、反復的な探索や複数回のインタラクションを必要とする場合が多い。CKKSスキームを用いた多項式近似による準同型的なランキングやトップ $k$ 選択の手法は、暗号化されたベクトル上での類似度計算を可能にするが、近似計算に伴う数値誤差により、出力が完全な決定値ではなく近傍の二値的な値に留まるという問題がある。このような近似性はランキング指標としては許容されるが、RAGパイプラインにおいて離散的なトークン列を再構成する後続処理においては、正確な決定が求められるため致命的な問題となり得る。これに対し、提案手法であるGoldenRetrieverは、検索サーバが単一の暗号化クエリを受け取り、インタラクションなしに一度の処理で暗号化された結果を返す非対話的な暗号化検索フレームワークを提供し、近似的な準同型選択と離散的なトークン再構成の間のギャップを埋めることで、生成タスクに向けた信頼性の高い文書抽出を実現している。
本研究では、クライアント、検索サーバー、LLMサーバーの3者構成による、CKKS準同型暗号を用いた非対話的な検索アーキテクチャを想定している。LLMサーバーが公開鍵と評価鍵を生成して配布し、秘密鍵を独占的に保持することで、検索サーバーはクエリや類似度スコア、最終的な出力を復号できない。検索サーバーは「誠実だが好奇心旺盛（honest-but-curious）」なモデルと定義され、暗号化された類似度スコアに対して閾値ベースの選択メカニズムを適用することで、追加の通信なしに暗号領域内で文書の特定を行う。検索サーバーは、選択された文書のトークン値は保持し、それ以外の文書を暗号文内でゼロにマスクする処理を行うため、どの文書が選択されたかというインデックス情報やアクセスパターンを漏洩させることなく、候補セットの暗号化表現をLLMサーバーへ返送できる。本フレームワークの目的は、検索サーバーに公開されている平文の文書コーパス自体を保護することではなく、クエリの機密性、中間的な類似度スコアの保護、および選択された文書インデックスの秘匿性を、非対話的なパイプライン内で実現することにある。
GoldenRetrieverは、クライアント、検索サーバ、LLMサーバの3者構成による、非対話型の機密保持RAGフレームワークを提案している。LLMサーバがCKKS準同型暗号の秘密鍵を保持し、クライアントがクエリを暗号化して検索サーバに送ることで、検索サーバはクエリ内容や選択された文書インデックスを一切知ることなく、暗号化されたドメイン内のみで処理を行う。検索プロセスでは、検索サーバが保持する平文の文書埋め込み行列 $\mathbf{E}$ と暗号化されたクエリ $\mathbf{c}_q$ を用いて、コサイン類似度を $\mathbf{c}_s = \mathbf{E} \cdot \mathbf{c}_q$ として計算し、CKKSのSIMDパッキングを活用して効率的なバッチ評価を実現する。文書の選択には、閾値 $\tau$ を用いたインジケータ関数 $m_i = \mathbb{I}(s_i > \tau)$ に基づく手法を採用しており、これはチェビシェフ近似を用いた多項式によって同型計算される。特に、CKKSの近似誤差によるトークン復元失敗を防ぐため、境界付近で3次の平坦性を持つ7次多項式 $P(x)$ を用いてマスクを極性化し、誤差を $\epsilon \cdot |x - \text{target}|^3$ のオーダーで収縮させることで、語彙サイズ $V$ に対する精度条件 $|\delta| < \frac{1}{V}$ を満たす設計となっている。最終的に、検索サーバは暗号化されたマスクを用いてトークン行列 $\mathbf{T}$ に対して列ごとの要素積 $\mathbf{c}_{T,j} = \mathbf{m} \odot \mathbf{T}_{:,j}$ を計算し、全行を含む暗号化された行列をLLMサーバへ返すことで、アクセスパターンの漏洩を防ぎつつ、LLMサーバ側での正確なトークン復元と生成を可能にしている。
GoldenRetrieverの計算量とセキュリティに関する分析によれば、本手法は反復的な相互作用やランキング手順を排除したシングルパスの評価設計により、ドキュメント数 $n$ に対して線形な計算量 $O(n)$ を実現している。類似度計算では、ドキュメントの埋め込みを平文で保持することで暗号文同士の乗算を避け、CKKSのSIMDパッキングを活用して複数の類似度スコアを並列計算することで乗算深度とノイズの増大を抑制している。閾値に基づく選択は、ソートやペアごとの比較を行わず、多項式を用いたインジケータ関数によって暗号化されたスコアベクトルに対して独立に実行される。トークン抽出は、トークン行列の各列に暗号化されたマスクベクトルを乗算する処理であり、行列のサイズに依存するため全体の計算コストの大部分を占める。セキュリティ面では、CKKSの準同型暗号のセマンティックな安全性に基づき、クエリの埋め込みおよび中間的な類似度スコアの機密性が保証される。また、検索サーバーは選択されたドキュメントのインデックスを知ることができず、全候補セットに対してマスク処理を施した結果を返すため、アクセスパターンの漏洩も軽減されている。ただし、本手法はクエリと選択プロセスのプライバシー保護に特化しており、サーバー上に平文で保存されているドキュメントコーパス自体の秘匿性は対象外であるという限界がある。
MS MARCO、Natural Questions、HotpotQA、FiQAのデータセットを用い、BGE-baseモデルで384次元の正規化埋め込みを生成する設定で、提案する閾値ベースの暗号化検索手法を評価している。評価指標には、Recall、Token Accuracy、Document Accuracy、Latency、およびクエリあたりの平均選択ドキュメント数を用い、候補ドキュメント数を100から1000へと変化させることでスケーラビリティも検証している。実験結果では、提案手法は平文およびランキングベースの暗号化手法と同等の検索・再構成精度を維持しつつ、ランキングベースの手法と比較して実行時間を16579.9秒から1051.8秒へと大幅に短縮することに成功している。計算コストの内訳では、類似度計算が全体の31.9%を占め、トークンの復号と再構成を合わせると全体の約半分に達するため、ドキュメントの復元がエンドツーエンドのパイプラインにおける主要なボトルネックとなっている。また、閾値 $\tau$ の影響については、低いまたは中程度の閾値ではRecallを維持しつつ平均2つのドキュメントを選択できるが、閾値を高く設定しすぎると、選択されるドキュメント数が平均1つに減少する一方でRecallが0.5まで低下するという、出力サイズと検索性能のトレードオフが確認されている。