RAG（検索拡張生成）のマーケットプレイスでは、データ提供者がライセンスした文書を、RAGオペレーターが報酬を支払わずにキャッシュや再利用するリスクがある。既存の電子透かし技術は、LLMによる回答の言い換えや、複数の提供者の情報が1つの回答に混在する状況、およびオペレーターが非協力的なブラックボックス環境下での監査に対応することが困難である。
生成時に信号を埋め込む従来手法とは異なり、文書の埋め込み空間に信号を配置することで、LLMによる言い換えやスタイルの変化、敵対的な洗浄（回答の再加工）に対して堅牢な監査を実現している。また、データセット全体の存在確認を行う既存の監査手法に対し、複数の提供者が混在する環境下でも、個別の文書単位での帰属特定を可能にする点が新規である。
プロバイダーは、監査キーから生成されるバケットごとの秘密の単位方向ベクトルを用い、文の意味を維持したままパラフレーズを行うことで、埋め込みベクトルをその方向へ微小に偏らせる。監査側は、ブラックボックスな回答を重複するウィンドウに分割し、各ウィンドウの埋め込みベクトルを計算する。検知の際は、ウィンドウを最も類似した参照用文書のバケットに紐付け、そのバケットに対応する秘密の方向へのスコアを算出する（アンカリング）。このプロセスにより、言い換えによる意味の漂流を防ぐ。最終的に、複数の回答から得られたスコアをプールし、Benjamini-Hochberg法を用いて偽発見率を制御しながら、統計的に有意な再利用を識別する。
FARADデータセットを用いた実験では、GPT-4o-miniによる回答生成に対し、23個の監査回答以内にターゲットの再利用を検知することに成功した。既存のKGWやSemStampといった手法と比較して、高い検知力と非ターゲットに対する誤検知の抑制を両立している。また、臨床、サイバー脅威インテリジェンス、法務の実際のコーパスを用いた検証でも検知精度が維持されることを確認した。さらに、検知を回避しようとする操作を試みても、回答の品質（意味の保持や自然さ）が著しく低下するという結果が得られた。
本手法は、ソース文書の意味を保ったまま言い換えられることを前提としているため、契約書、法令、規制テキスト、ソースコードなど、文言の正確性が不可欠な文書には適さない。また、現在はテキストのみを対象としており、画像や音声などのマルチモーダルなコンテンツには対応していない。監査プロセスにおいては、監査者が監査キーやコーパスを安全に保持する必要があり、埋め込みベクトルの逆変換による情報漏洩のリスクを完全に排除することはできないため、今後の課題である。
第三者提供のRAG（検索拡張生成）環境において、データ提供者が自身の文書の不正な再利用を監査するためのフレームワークであるDirBucketを提案する。この手法は、文書の意味を維持したまま言い換えを行い、その埋め込みベクトルが提供者ごとに割り当てられた秘密の方向へと偏るように電子透かしを埋め込むことで、ブラックボックスな回答から文書レベルの再利用を検知する。複数の提供者が混在する環境下でのベンチマークにおいて、DirBucketは誤検知を発生させることなく、監査対象の回答から一貫して高い精度で非準拠を検知することに成功している。この電子透かしは、回答生成後の敵対的な洗浄処理に対しても耐性を持ち、検知を回避しようとする戦略は回答の品質を低下させる。さらに、臨床、サイバー脅威インテリジェンス、法務といった実世界のコーパスを用いた別のベンチマークにおいても、検知性能が維持されることが示されている。
RAG（検索拡張生成）のマーケットプレイスでは、データ提供者がコンテンツの利用に応じた報酬を得る必要があるが、オペレーターが文書をキャッシュして無断で再利用するリスクが存在する。既存の電子透かし技術は、LLMによる言い換えや、複数の提供者の情報が混在する回答（クロスプロバイダー・ミキシング）に対して脆弱であるという課題がある。本研究では、埋め込み空間に透かしを埋め込む手法であるDirBucketを提案する。DirBucketは、オペレーターの内部実装に依存せず、クエリと回答のみをブラックボックスとして扱う監査を可能にし、方向性のある証拠を用いた帰属および検出手順を備えている。実験の結果、DirBucketは言い換えやスタイルの変化、敵対的な洗浄、複数プロバイダーの混在に対しても堅牢であり、23個の監査回答で検出閾値に達することが示された。また、架空のコーパスおよび臨床、サイバー脅威インテリジェンス、法務といった実ドメインのベンチマークにおいて、既存の手法よりも誤帰属を抑えつつ高い検出力を維持することが確認された。
本研究は、第三者RAGシステムにおけるデータ利用の監査を目的としており、生成時に信号を埋め込む既存のLLMウォーターマーク手法とは異なるアプローチをとる。既存手法は生成器の制御やデコーディング・ポリシーの変更、あるいは出力の言い換えによって信号が消失する課題があるため、本研究では埋め込み空間を利用する。既存のRAG監査手法であるWARDはデータセット全体の存在確認を目的としているが、本研究は複数のソースが混在するマルチプロバイダー環境において、より粒度の細かいドキュメント単位の再利用と帰属特定を目指している。また、知識ベースに特定のテキストを挿入するRAG-WMとは異なり、本手法は埋め込み空間を活用する点で異なる。非ウォーターマーク手法については、語彙の重複や意味的類似性、含意関係に基づくヒューリスティックな手法を比較対象とするが、特定のクエリを必要とするカナリードキュメント方式や、プロンプトによって情報を引き出す敵対的プロンプト方式は、自然なワークロード下での利用やプロンプトへの依存性の高さから、本研究の監査設定には適さない。
本手法は、第三者RAGオペレーターがプロバイダーの文書を無断で再利用、キャッシュ、または改変して回答を生成する場合を想定した、埋め込み空間における電子透かしを用いた監査フレームワークである。監査人はプロバイダーのソース文書と監査鍵へのアクセス権を持つが、オペレーターに対してはクエリと回答のみをやり取りするブラックボックスなAPI経由でのみ対話する。監査プロセスでは、まず回答を重複する単語ウィンドウに分割し、各ウィンドウの埋め込みベクトルを計算する。次に、各ウィンドウをプロバイダーごとの参照用ウィンドウ群とコサイン類似度で比較し、最も類似度が高いプロバイダーが、二番目に高い類似度を持つプロバイダーよりも十分に高いスコアを持ち、かつ絶対的な類似度も閾値を超えている場合にのみ、そのウィンドウを特定のプロバイダーに割り当てる。複数の回答から得られたプロバイダーごとの証拠をプールし、標準化された統計量を用いて、各プロバイダーの透かしの存在を検定する。この際、複数のプロバイダーを同時に監査するため、Benjamini-Hochberg法を用いて偽発見率を制御し、誤検知を抑えつつ、複数のプロバイダーの文書が混在する回答においても正確な帰属を可能にしている。
Directional Bucket Watermark（DirBucket）は、プロバイダーが文書の埋め込みベクトルを特定の方向に微小に偏らせることで、第三者によるRAGの監査を可能にする手法である。プロバイダー側では、監査キーとバケットコードから決定論的に生成される、バケットごとに固有の秘密の単位方向ベクトルを用いて、文単位でパラフレーズによるウォーターマークの埋め込みを行う。山登り法を用いたパラフレーズ探索では、現在の文との意味の差が一定の閾値以下であり、かつ秘密の方向へのスコア、すなわち埋め込みベクトルと方向ベクトルの内積が一定量以上増加する候補のみを採用することで、意味を保持したまま方向性の偏りを蓄積する。監査側では、回答ウィンドウと照合された参照ウィンドウのバケットに基づき、回答の埋め込みベクトルがそのバケットに対応するプロバイダーの秘密の方向を向いているかを検証する。この際、回答自体のバケットではなく、一致した参照ソースのバケットにスコア計算を固定（アンカリング）することで、パラフレーズによる意味の漂流がバケット境界を越えた場合でも堅牢な検知が可能となる。最終的な検知は、アラインメントされたサポートセット全体でスコアをプールし、帰無仮説の下での分散に基づいた統計量を用いて、p値および偽発見率（FDR）制御を適用することで、特定のプロバイダーによるコンテンツの再利用を統計的に有意に識別する。
本実験では、複数のプロバイダーが混在し、回答が言い換えられる現実的なRAG環境における、提案手法DirBucketの監査能力を評価しています。実験では、FARADデータセットを複数の仮想プロバイダーに分割して使用し、GPT-4o-miniを用いて回答を生成するブラックボックス監査モデルを構築しました。評価の結果、DirBucketは既存のKGWやSemStampといった手法と比較して、ターゲットプロバイダーに対する高い検知力と、非ターゲットプロバイダーに対する極めて低い誤検知率を両立しており、約100個の回答を監査することでほぼ確実にターゲットを特定できることが示されました。回答の改変に対する堅牢性試験では、GPT-4oによる積極的な言い換えや圧縮が行われても、信号が消失するのではなく、回答が短くなることで検知に必要な証拠が不足する「証拠の飢餓」状態になるのみであり、検知を回避しようとすると回答の品質が著しく低下するというトレードオフが確認されました。また、プロバイダー数が100から1000へと増加した場合や、臨床・サイバー脅威・法律といった実世界のドメインデータを用いた場合でも、高い検知精度と誤検知の抑制が維持されることが実証されました。さらに、水マークを付与しても、検索精度や回答の正確性、自然さは元のデータセットと遜色なく、実用的なユーティリティが保持されていることが、LLMによる評価および人間による評価の両面から確認されました。
本研究では、第三者提供のRAG（検索拡張生成）における文書の再利用を監査するための、プロバイダー側で適用可能なセマンティック・ウォーターマーキングおよびブラックボックス監査フレームワークであるDirBucketを提案する。複数のプロバイダーを用いたベンチマーク実験の結果、DirBucketは非ターゲットの誤検知を発生させることなく強力なターゲット検知を実現し、迅速に証拠を蓄積できることが示された。また、敵対的な洗浄攻撃に対する堅牢性を備えつつ、有用性の損失は無視できる程度に抑えられている。この検知能力は、実際の臨床、脅威インテリジェンス、および法務コーパスから構築されたプロバイダーに対しても同様に機能することから、第三者RAGにおける文書の再利用が統計的に監査可能であることを示している。
提案手法であるDirBucketは、すべてのRAGコンテンツに適用可能な汎用的なウォーターマークではなく、プロバイダーがデプロイ前にソースコーパスを意味を保ったまま言い換えられることを前提としています。そのため、契約書や法令、安全に関わる指示書、引用文、あるいは文言の正確性が動作に影響するソースコードのように、改変が許されないドキュメントには適していません。また、本手法はテキストコーパスを対象としており、表、図、画像、音声、動画などのマルチモーダルなコンテンツには直接対応していません。信頼のモデルについても、RAGオペレーターの自己申告を信頼する必要はなくなりますが、監査用の鍵を安全に保持し、コーパスにアクセスして誠実に監査を行う権限を持つ監査者の存在を前提としています。監査者の権限を制限するために、プロバイダーが平文ではなくエンコードされたビューのみを開示する手法や、信頼実行環境の活用、統計情報の安全な集約といった方向性が考えられますが、埋め込みベクトルは逆変換に対して脆弱であるため、これらは情報の漏洩を完全に防ぐものではなく、軽減するにとどまります。
本研究で提案する監査メカニズムは、データ提供者がライセンス契約の遵守を確認することを目的としています。この仕組みは原理的に他者が作成したコンテンツの追跡にも転用可能なため、自身が所有するコーパスに対してのみ適用すべきであり、監査結果は侵害の自動的な証明ではなく、人間による判断プロセスを支援するための統計的な証拠として扱う必要があります。人間による評価実験では、本研究に関与していないボランティアの注釈者が参加しており、参加の任意性や評価結果が集計データとして学術論文に使用されることについて事前に説明し、同意を得ています。実験において個人情報は収集しておらず、注釈者は割り当てられたコードのみで識別され、評価対象も個人情報を含まない公開テキストおよび合成テキストのみで構成されています。なお、注釈者が無報酬のボランティアである点は、研究の限界として挙げられます。