検索拡張生成（RAG）において、外部知識ベースから検索された文書に個人情報（PII）が含まれる場合、LLMによる直接的な複製や間接的な推論を通じて機密情報が漏洩するリスクがある。既存の差分プライバシー（DP）を用いた手法は、すべての検索文書が同一の漏洩リスクを持つという「文書レベルの静的なプライバシーリスク」を前提としている。しかし、同一の文書であってもユーザーのクエリ内容によって漏洩リスクは動的に変化するため、従来の静的な保護では不十分である。
本研究の新規性は、プライバシーリスクをドキュメント単位の静的なものとしてではなく、クエリに依存する動的なものとして捉え直した点にある。提案手法は、プロンプトを考慮したリスク階層化を導入することで、クエリとの関連性に基づいた動的なリスク評価を可能にする。これにより、従来の合成データ生成手法と比較して、検索品質の低下を最小限に抑えつつ、ターゲット攻撃および非ターゲット攻撃の両方に対して極めて高い防御性能を示す。
提案手法であるPA-HDPは、まず取得されたコンテキストを文単位のプライバシー単位（PU）に分割する。次に、クエリ内の機密エンティティの有無、クエリとの意味的類似度 $S_{rel}$、およびフィールド感度 $S_{field}$ を用いて、総合的なリスクスコア $R_j = \alpha S_{rel} + (1-\alpha) S_{field}$ を算出し、テキストを3つのリスクレベルに階層化する。保護段階では、機密エンティティを安全なコーパス内の同カテゴリのエンティティで置換して候補集合 $\mathcal{C}_j$ を生成する。最後に、指数メカニズムを用いて、意味的距離 $d(\text{seg}_j, \text{cand}_i)$ と候補の漏洩リスク $R_{leak}(\text{cand}_i)$ を統合した効用関数 $U(\text{seg}_j, \text{cand}_i) = -d(\text{seg}_j, \text{cand}_i) - \lambda R_{leak}(\text{cand}_i)$ を最大化するテキストを選択する。
HealthcareMagic-101およびWiki-PIIデータセットを用い、GPT-3.5-TurboとLlama3-8B-Chatをバックボーンとして評価を行った。ユーティリティ指標にはROUGE-LとBLEU、プライバシー指標にはターゲット攻撃および非ターゲット攻撃に対する抽出成功数を用いた。実験の結果、GPT-3.5においてBLEUが0.1594から0.3275へ、ROUGE-Lが0.1288から0.3445へと大幅に向上した。また、既存の合成データ生成手法（ZeroGen, AttrPrompt, SAGE等）と比較して、PA-HDPは攻撃に対する漏洩指標をゼロに抑える高い防御性能を示した。
本手法は、プライバシー予算 $\epsilon$ が増加するにつれて、プライバシー強度は弱まるがBLEU-1やROUGE-Lなどの有用性指標が向上するというトレードオフが存在する。また、本手法はデプロイ前にあらかじめ決定された固定のプライバシー予算を仮定しているという限界がある。実世界のRAGシステムにおいて、クエリの蓄積に伴ってプライバシー予算が枯渇していく問題への対応が今後の課題である。
従来のRAGにおけるプライバシー保護手法は、すべての検索ドキュメントが同一の漏洩リスクを持つというドキュメント単位の静的なリスク仮定に基づいているが、本研究ではドキュメントのプライバシーリスクはユーザーのクエリに強く依存し、本質的にクエリ駆動で動的であると指摘している。この課題に対し、提案手法であるPrompt-Aware Dynamic Hierarchical Differential Privacy (PA-HDP) は、プロンプトを考慮したリスク階層化によって、異なるクエリの下でのプライバシーリスクを動的に評価する。PA-HDPは、適応的な機密エンティティの置換と指数メカニズムに基づくテキスト選択を組み合わせることで、特定のクエリにおいて真に機密性が高いコンテンツのみを保護し、検索コーパスへの不要な修正を最小限に抑えつつ、意味的な有用性を維持する。ベンチマークデータセットを用いた広範な実験の結果、PA-HDPは検索品質を高く維持しながらプライバシー漏洩を大幅に削減し、従来手法よりも優れたプライバシーと有用性のトレードオフを実現することが示された。
Retrieval-Augmented Generation (RAG) は、外部知識ベースから検索された文脈を利用してLLMの回答精度を高める技術であるが、検索された文書に個人情報（PII）が含まれる場合、直接的な複製や間接的な推論を通じて機密情報が漏洩するリスクがある。既存の差分プライバシー（DP）を用いた手法は、すべての検索文書が等しく漏洩リスクを持つという「文書レベルの静的なプライバシーリスク」を前提としているが、実際には同一の文書であってもユーザーのクエリ内容によって漏洩リスクは動的に変化する。本論文では、この課題を解決するために、クエリに依存した動的な保護を実現する Prompt-Aware Dynamic Hierarchical Differential Privacy (PA-HDP) を提案する。この手法は、まず検索された文脈に対してクエリに基づいた文レベルの機密意味認識を行い、機密情報の種類やクエリの意図との関連性に応じてテキストを異なるプライバシーリスクレベルに層別化する。次に、指数メカニズム（exponential mechanism）を用いた適応的な候補選択戦略を導入し、機密エンティティを意味的に同等な表現に置換して生成した候補集合の中から、DPの制約を満たしつつ最大限の意味的忠実度を維持するテキストを選択することで、プライバシー保護と生成ユーティリティの最適なトレードオフを実現する。実験の結果、PA-HDPは厳密なDPの数学的制約を遵守しながら、従来の静的な手法と比較して生成内容のセマンティックな損失を大幅に抑え、高い実用性を達成することが示された。
既存のRAGにおけるプライバシー保護手法は、大きく3つの方向に分類される。第一に、LLMのデコーディングフェーズにおいてトークンの確率分布やロジットにノイズを注入するトークンレベルの生成保護があり、これには機密トークンにのみ予算を割り当てる手法や、ロジットを公開情報と機密情報に分離して指数メカニズムを適用するInvisibleInk、信頼度フィルタリングとガウスノイズを組み合わせたPAD、さらにはエントロピー調整によりトークンおよび文レベルで予算を動的に配分するPEARLなどが含まれる。第二に、検索される外部データベース自体を保護する手法であり、局所差分プライバシー（LDP）を用いてトークンフィルタリングやランダムな書き換えを行うVAGUE-Gateや、エンティティの種類に応じて適応的に予算を配分するLPRAG、差分プライバシーを満たす合成文書で置換する手法、あるいは埋め込みベクトルを摂動させるDistanceDPや、暗号化された埋め込み上で類似度計算を可能にするppRAGなどが存在する。第三に、学習段階やシステム全体の保護に関する研究であり、DP-SGDのバリエーションを用いたユーザーレベルのプライバシー保護や、マルチターン対話におけるプライバシー予算の累積を制御するために、クエリ単位ではなく文書のアクセス頻度に基づいて予算を管理するMURAGなどのアプローチが提案されている。これらの手法は、生成プロセス、検索ドキュメント、あるいはモデルの学習過程という異なるレイヤーにおいて、情報の漏洩を防ぐことを目的としている。
本セクションでは、個人のプライバシー保護の標準的な枠組みである差分プライバシー（Differential Privacy, DP）の定義と、テキストデータへの適用に向けた拡張が述べられている。隣接する2つの入力 $x, x'$ に対し、任意の出力集合 $S$ について $P[M(x) \in S] \le e^\epsilon P[M(x') \in S]$ を満たすとき、メカニズム $M$ は $\epsilon$-DPを満たす。具体的な手法として、感度 $\Delta f$ を持つ関数に対し、ラプラス分布からサンプリングされたノイズを加えるラプラスメカニズムや、効用関数 $u(D, r)$ の感度 $\Delta u$ に基づいて出力の選択確率を $\exp\left(\frac{\epsilon u(D, r)}{2\Delta u}\right)$ に比例させる指数メカニズムが定義されている。さらに、テキスト空間 $\mathcal{T}$ において、単一のトークンまたはフレーズ単位の挿入・削除・置換によって得られる隣接関係を、意味的埋め込み関数 $f_{\text{emb}}$ を用いた意味的距離 $d_{\text{sem}}$ で定義する「$\epsilon$-Semantic Metric Differential Privacy」を導入している。この定義に基づき、本研究では提案手法の核となる、意味的距離を考慮したSemantic Laplace MechanismおよびSemantic Exponential Mechanismを構築している。
本セクションでは、検索拡張生成（RAG）における動的なプライバシー保護手法であるPrompt-Aware Dynamic Hierarchical Differential Privacy（PA-HDP）を提案している。この手法は、まず文書を埋め込みモデルでベクトル化して検索を行い、取得されたコンテキストを文単位のプライバシー単位（PU）へと正規化・分割する。次に、ユーザーのクエリに含まれる機密エンティティの有無に基づき、クエリとの意味的類似度 $S_{rel}$ と、抽出された機密フィールドの最大リスク重みによるフィールド感度 $S_{field}$ を用いて、総合的なリスクスコア $R_j = \alpha S_{rel} + (1-\alpha) S_{field}$ を算出する。このスコアに基づき、テキストを3つのリスクレベルに分類し、高リスクな内容にはより強力な保護を適用する階層的なアプローチをとる。最終的な保護段階では、機密エンティティを事前に構築した安全なコーパス内の同カテゴリのエンティティで置換して候補テキスト集合 $\mathcal{C}_j$ を生成し、指数メカニズムを用いて、意味的距離 $d(\text{seg}_j, \text{cand}_i)$ と候補テキストのプライバシー漏洩リスク $R_{leak}(\text{cand}_i)$ を統合した効用関数 $U(\text{seg}_j, \text{cand}_i) = -d(\text{seg}_j, \text{cand}_i) - \lambda R_{leak}(\text{cand}_i)$ を最大化する最適なテキストを選択する。このプロセスにより、差分プライバシーの制約を満たしつつ、情報の有用性とプライバシー保護のトレードオフを最適化している。
提案手法であるPA-HDPの有効性を検証するため、医療対話データセット（HealthcareMagic-101）および、公開データに個人情報（PII）を混入させたWiki-PIIデータセットを用いた実験が行われた。評価にはGPT-3.5-TurboとLlama3-8B-Chatの2種類の生成バックボーンが用いられ、ユーティリティ（有用性）の指標としてROUGE-LおよびBLEUが、プライバシー保護の指標として、特定の情報を狙うターゲット攻撃および広範な情報を抽出する非ターゲット攻撃に対する複数の指標が採用された。実験の結果、PA-HDPは既存の合成データ生成手法（ZeroGen, AttrPrompt, SAGE等）と比較して、機密情報の大部分を保持しつつ高いROUGE-LおよびBLEUスコアを達成しており、特にGPT-3.5においてBLEUが0.1594から0.3275へ、ROUGE-Lが0.1288から0.3445へと大幅に向上した。プライバシー面では、元のコーパスやパラフレーズ手法が攻撃に対して脆弱であるのに対し、PA-HDPはターゲット攻撃および非ターゲット攻撃の両方において、抽出成功数や漏洩指標をゼロに抑える極めて高い防御性能を示した。アブレーション研究では、プライバシー予算 $\epsilon$ が増加するにつれて、プライバシーの強度は弱まるものの、BLEU-1やROUGE-Lといったユーティリティ指標が向上するというトレードオフの関係が確認された。本手法は、文書全体を書き換えるのではなく、機密性の高い箇所のみを選択的に保護する階層的な戦略をとることで、情報の忠実度とプライバシー保護の両立を実現している。
本研究は、検索拡張生成（RAG）におけるプライバシー保護が、従来のドキュメント単位の静的なリスク想定に基づいているという根本的な限界を指摘し、プライバシー漏洩がクエリに依存して動的に変化することを明らかにした。この知見に基づき、提案手法であるPA-HDP（Prompt-Aware Dynamic Hierarchical Differential Privacy）は、リスクの層別化、適応的な機密エンティティの置換、および指数メカニズムに基づくテキスト選択を通じて、クエリに応じた動的なプライバシーリスク評価と差別化された保護を実現する。医療対話およびオープンドメインの質問応答ベンチマークを用いた広範な実験により、PA-HDPは高い検索有用性を維持しつつ、標的型および非標的型のプライバシー攻撃の両方を効果的に軽減し、厳密な差分プライバシーの保証下でプライバシー保護とモデル性能の良好なトレードオフを達成することが示された。一方で、本手法はデプロイ前にあらかじめ決定された固定のプライバシー予算を仮定しているという限界があり、実世界のRAGシステムにおけるクエリ蓄積に伴う予算枯渇への対応が今後の課題である。