RAG（検索拡張生成）システムにおいて、ユーザーによる機密情報への不正アクセスに加え、外部のサードパーティ製LLM（生成器）がクエリや検索された文書に含まれる機密情報にアクセスし、悪用されるリスクが課題となっている。既存の研究は主に権限のないユーザーによるアクセス防止に焦点を当てており、外部生成器への機密情報流出を防ぎつつ、生成器の能力を最大限に活用するという問題は十分に解決されていない。
検索器や生成器の微調整ではなく、機密情報の認識と置換に特化した軽量なローカルモデルを導入するSEAGフレームワークを提案した点が新規である。先行研究の合成データ利用や差分プライバシーとは異なり、外部生成器に機密内容を直接見せない仕組みを実現している。また、モデルの微調整用およびフレームワーク全体の評価用に、複数のドメインをカバーする2種類の新しいデータセットを構築した。
SEAGは、検索器と外部生成器の間に配置されるローカルの微調整済み小規模言語モデルで構成される。まず、ユーザーのクエリと検索された文書をモデルに入力し、機密エンティティを特定して、文脈上の意味を維持した別名（エイリアス）と元の値を紐付ける置換テーブルを作成する。次に、このテーブルを用いてクエリと文書内の該当箇所をすべて別名に置換したプロンプトを外部生成器へ送る。生成器から返された回答内の別名は、置換テーブルを用いて元のエンティティへと復元され、最終的な回答としてユーザーに提供される。
LLaMA-3.2、Qwen-3、Phi-4の3モデルをQLoRAを用いて微調整し、GPT-5やClaude-4 sonnetを生成器として用いて評価した。評価指標には、生成器が本来の情報を得た際の正解率を示すORG、機密情報の隠蔽成功率を示すPrivacy、および機密を隠蔽した状態でユーザーに正しい回答を提示できたかを示すUserを用いた。実験の結果、User指標においてLLaMA-3.2とClaude-4 sonnetの組み合わせが83.67%の最高スコアを記録した。また、機密エンティティの隠蔽能力の分析では、Qwen-3、LLaMA-3.2、Phi-4がそれぞれ77.83%、76.73%、74.91%の精度を示した。
本手法は、平均約300語で15個程度の機密エンティティを含む文書を対象としており、極めて多数のエンティティを含む文書や大幅に長い文書における性能は検証されていない。文書が長大化したりエンティティ密度が高まったりすると、すべての機密エンティティを正確に特定・置換し、一貫して復元することが困難になり、プライバシー保護と回答品質の間にトレードオフが生じる可能性がある。今後は、大規模な文書や複雑な文脈依存関係を持つエンティティに対するスケーラビリティと堅牢性の検証が課題である。
本研究は、外部の生成AI（LLM）にクエリや検索結果を送信する際に、機密情報が漏洩することを防ぐためのプライバシー保護フレームワークであるSensitive Entity Alias Generator (SEAG)を提案している。SEAGは、機密性の高いエンティティを特定し、それらに対応する別名（エイリアス）を生成して置換テーブルを作成する軽量なモデルで構成され、外部LLMへ情報を送る前にクエリと検索ドキュメント内の機密単語をこのテーブルに基づいて置換する。評価のために、SEAGモデルの微調整用およびフレームワーク全体の評価用という2つのデータセットが新たに構築された。実験の結果、外部LLMに機密情報を隠蔽しつつユーザーへ正しい回答を提供する能力を示すユーザー指標において、すべてのSEAGモデルが80%を超える精度を達成した。また、Qwen-3、LLaMA-3.2、Phi-4を用いた機密エンティティの隠蔽能力の分析では、それぞれ77.83%、76.73%、74.91%の総精度を示した。
RAG（検索拡張生成）システムにおける、ユーザーによる機密情報への不正アクセスと、外部のサードパーティ製LLM（生成器）へのデータ流出という2つのプライバシーリスクを解決するため、SEAG（Sensitive Entity Alias Generator）フレームワークを提案する。この手法は、検索器と生成器の間に配置される軽量なローカルモデルを用いて、ユーザーのクエリと検索された文書内の機密エンティティを、意味的な一貫性を保ったエイリアス（別名）に置換する。生成器には匿名化された情報のみが送られ、生成された回答内のエイリアスを置換テーブルを用いて元のエンティティに復元することで、外部LLMの性能を活かしつつ機密性を保持する。実験では、3Bから4B程度のパラメータを持つQwen-3、LLaMA-3.2、Phi-4の3モデルに対し、QLoRAを用いたパラメータ効率の良い微調整を行い、8つのドメインからなる640サンプルのデータセットで学習を実施した。評価指標として、機密情報を適切に隠蔽できているかを測るPrivacy指標と、機密情報の隠蔽と正しい回答生成の両立を測るUser指標を用い、GPT-5やClaude-4 sonnetを生成器として用いて検証した。結果として、LLaMA-3.2をSEAGモデルに、Claude-4 sonnetを生成器に組み合わせた構成が、User指標において83.67%という最高スコアを記録した。本手法の限界として、文書の長さや文書内に含まれる機密エンティティの数に制約があることが示されている。
RAG（検索拡張生成）は金融や医療、法律などの分野で広く活用されているが、機密性の高い個人データの漏洩リスクが課題となっている。既存の研究では、構造化されたプロンプトを用いた医療記録の抽出や、エージェントによる敵対的プロンプトを用いた知識ベースへの攻撃、特定の記録の有無を推論するメンバーシップ推論攻撃、さらには悪意ある回答を誘発するデータポイズニング攻撃などの脅威が報告されている。これに対し、合成データを生成してLLMに提供するSAGEや、差分プライバシーを用いて重要な概念のみを提示する手法が提案されているが、権限を持つユーザーには情報を返しつつ、外部の生成器LLMには機密内容を直接見せないという課題は十分に解決されていない。また、RAGの効率化に向けて、LoRAやQLoRAといったパラメータ効率の良い微調整（PEFT）を用いて生成器をドメイン適応させる研究や、生成タスクの目的に基づいて検索器を微調整する研究も存在する。本研究では、検索器や生成器の微調整ではなく、機密情報を認識して置換を行うための専用のLLMを微調整するSEAGフレームワークを提案する。この手法では、検索器が返した文書を生成器が使用する前に、微調整したLLMによって機密情報を隠蔽する処理を行う。
本研究では、LLMのファインチューニングとSEAGフレームワーク全体の評価を目的として、2種類のデータセットを構築した。1つ目のデータセットは、機密情報を意味的に関連のある代替語に置き換える能力を評価するためのもので、ニュースや法律、医療など8つのドメインから計640サンプルを収集している。このデータセットの作成にはDeepSeek-V3を用い、全ての固有名詞を抽出すること、置換語の整合性を保つこと、表記揺れに対応すること、および元のテキストと完全に一致させることといった厳格な基準を適用してエンティティ置換表を生成した。2つ目のデータセットは、SEAGフレームワーク全体の性能、すなわち機密情報の隠蔽能力と、外部生成モデルが修正された質問および文書に基づいて正解を生成できるかを評価するためのものである。このデータセットは経済や教育など6つのドメインから構成され、計600個の質問と300個の文書（1文書につき2つの質問）で構成されている。質問には数値、日付、個人識別子などの機密エンティティが含まれるよう、チームメンバーが手動で作成している。
提案手法であるSEAGフレームワークは、外部の生成器（Generator）に機密情報を直接渡さずにRAGを実行するための仕組みであり、従来のRAGプロセスに機密エンティティ置換モデルを組み込んでいる。まず、ユーザーのクエリと検索器（Retriever）によって取得された上位k個の文書を、ローカルに展開された微調整済みの小規模言語モデルに入力する。このモデルは、クエリと文書内の機密エンティティを特定し、文法構造や意味的関係を維持したまま、元のエンティティとそれに対応する別名（エイリアス）を紐付けるエンティティ置換テーブルを作成する。このテーブルを用いて、クエリと文書内のすべての該当箇所を一貫して別名へと置換したプライバシー保護済みプロンプトを生成し、外部の生成器へ送る。生成器から返された中間回答に含まれる別名は、再びエンティティ置換テーブルを用いて元の値へと復元された後、ユーザーに最終的な回答として届けられる。本手法の有効性は、微調整済みモデルがすべての機密エンティティを漏れなく、かつ一貫して正確に置換できるかどうかに依存している。
本実験では、機密情報を隠蔽するSEAGフレームワークの有効性を検証するため、LLaMA-3.2、Qwen-3、Phi-4の3つのモデルを同一のハイパーパラメータで微調整し、GPT-5またはClaude-4 sonnetを外部生成器として用いて評価を行いました。評価指標には、元の文書と質問から正解を導けるかを示すORG、回答に必要なエンティティを隠蔽できた割合を示すPrivacy、およびエイリアスを復元した後にユーザーへ正しい回答を提示できた割合を示すUserの3つを用いました。実験の結果、ORGは99.33%から99.67%と非常に高い値を示し、問題の難易度が評価に影響しないことが確認されました。PrivacyとUserの指標において、LLaMA-3.2は両方の生成器を用いた場合に最も高いスコアを記録し、外部生成器から機密情報を守りつつユーザーへの回答精度を維持できることが示されました。また、検索された文書内の全エンティティの置換精度を調査したところ、経済ドメインでは86.01%から87.46%の高い精度を記録した一方、微調整に使用した金融や法律ドメインでは、エンティティの境界が複雑で文脈依存性が高いため、精度が相対的に低下する傾向が見られました。
本研究の評価は、平均約300語で15個程度の機密エンティティを含む文書を対象としており、これはモデルのコンテキスト制限内で回答に必要な情報を保持する実用的なRAGのチャンクサイズを反映しています。しかし、大幅に長い文書や、極めて多数のエンティティを含む文書におけるフレームワークの性能については評価が行われていません。文書の長さが増大すると、すべての機密エンティティを特定、置換、および一貫して復元することが困難になる可能性があり、プライバシー保護と回答の品質の両面に影響を及ぼす恐れがあります。そのため、より困難な状況下での堅牢性を理解するために、大規模な文書や多数の機密エンティティを持つ文書に対するSEAGフレームワークのスケーラビリティを検証することが今後の課題です。
本研究では、外部のLLMに対して機密情報を隠蔽することでプライバシーを保護するRAGフレームワークであるSensitive Entity Alias Generator (SEAG)を提案している。この手法は、リトリーバーとジェネレーターの間にローカルで展開され、クエリや文書内の機密エンティティを検出した上で、それらと意味的に整合性のあるエイリアスを生成することで、外部モデルには元の機密情報ではなくエイリアスのみが渡るように設計されている。評価のために、機密エンティティ検出用の微調整データセットと、複数ドメインにおけるフレームワーク全体の評価用データセットを構築して実験を行った結果、回答の品質を高く維持しつつ機密情報を隠蔽することに成功した。モデル間の比較では、LLaMA-3.2が最も優れた性能を示し、GPT-5やClaude-4 sonnetをジェネレーターとして用いた場合でも、高いプライバシースコアとユーザー精度を両立した。また、検出モデルの比較ではLLaMA-3.2とQwen-3が僅差で高い性能を示したが、Phi-4は全6ドメインにおいて他のモデルより2%低い結果となった。