検索拡張生成（RAG）では、検索された文書の中に正解を導く情報と無関係なノイズが混在すると、大規模言語モデルが誤った情報に引きずられ、ハルシネーションを引き起こす。既存の解決策である追加モジュールの導入は推論時の遅延を招き、ファインチューニングは計算コストや破滅的忘却のリスクがある。本研究は、動的に変化する検索文脈に対して、モデルの振る舞いを適応的に制御することを目的とする。
従来のモデル編集手法は編集対象の知識が事前に既知であることを前提としていたが、本手法は特定の知識を固定するのではなく、文脈に応じて反応するニューロンを動的に制御する。単なる寄与度の高さだけでなく、入力の変化に対する変動性を指標に加えることで、表面的なパターンではなく有用な証拠を識別できるニューロンを特定できる点が新規である。
FFN（Feed-Forward Network）層のニューロンから、文脈依存的な特性を持つものを特定し、その寄与を増幅させる。まず、クエリのみを入力した場合と、クエリに文脈を加えた場合のアクティベーションの差に基づき、Integrated Gradientsを拡張して各ニューロンの寄与度を算出する。次に、あるニューロンの寄与度が、それまでの入力に対する移動平均からどれだけ逸脱しているかを示す変動性を算出する。寄与度と変動性の両方で高い値を示すニューロンを抽出し、推論時にそれらのFFN重みにスケーリング係数を乗じることで、有用な文脈への反応を強化する。
HotpotQAから抽出した100個のサンプルを用いてニューロンをマイニングし、NQ、ASQA、SCIQ、TriviaQA、HotpotQA、TruthfulQA、PopQAなどのデータセットで評価した。Llama-3-8B-Instructを用いた実験では、7つのデータセット中6つで最高精度を記録し、標準的なRAGと比較して平均で3.75%精度を向上させた。また、RetRobustなどのファインチューニングを用いた手法と比較しても、追加学習なしで同等以上の性能を示した。さらに、寄与度のみを用いる手法と比較して、変動性を組み合わせることで、無関係な文脈が含まれる場合でも高い堅牢性を維持できることを確認した。
本手法は、マイニングに使用するデータセットの特性（難易度や構成）が、選択されるニューロンの集合や下流タスクの挙動にどのような影響を与えるかが不明である。また、ノイズが含まれないクリーンな検索設定において、ニューロンの選択がどのように変化するかについても明らかになっていない。今後は、マイニング用データセットの構成や検索条件が、ニューロンの特定および堅牢性に与える影響を調査することが課題である。
検索拡張生成（RAG）では、検索された文書に無関係な情報が混在すると、大規模言語モデルが注意を削がれ、ハルシネーションを引き起こすという課題があります。これに対し、提案手法であるSCoNEは、追加の学習や推論時の計算コストを必要としない、トレーニングフリーなモデル編集手法です。具体的には、寄与度が高く、かつ入力の変化に対する変動性も高いという二つの特徴を持つ、文脈依存的なFFN（Feed-Forward Network）ニューロンを選択的に強化することで、検索ノイズに対する堅牢性を向上させます。SCoNEは少数のマイニング用サンプルのみを必要とし、知識集約型の質問応答ベンチマークにおいて、複数の大規模言語モデルを用いた実験を通じて、既存のベースライン手法を上回る性能を示しています。
検索拡張生成（RAG）において、検索システムが返す関連性の低い文書やノイズが大規模言語モデルの回答精度を低下させる問題に対し、本研究はモデル編集を用いた手法であるSCoNEを提案している。従来の追加モジュールの導入は推論時の遅延やエラーの連鎖を招き、ファインチューニングは破滅的忘却や多大な計算コストを伴うが、SCoNEは少数のパラメータを直接修正することで、追加の推論コストを抑えつつノイズへの耐性を獲得する。既存のモデル編集は編集対象の知識が事前に既知であることを前提としているが、RAGでは検索される文脈が動的に変化するため、特定の知識を固定するのではなく、文脈に応じてモデルの振る舞いを適応させる必要がある。SCoNEは、単なる寄与度（attribution）の高さだけでなく、入力間の変動性（cross-input variability）が高いニューロンを組み合わせることで、表面的なパターンではなく有用な証拠を識別して活用できる「選択的な文脈依存ニューロン」を特定する。実験ではHotpotQAデータセットから抽出したわずか100個のサンプルのみを使用し、ファインチューニングを行うことなく、既存の強力なベースラインや大規模なファインチューニング手法と同等以上の性能を達成している。
本手法は、RAG（検索拡張生成）において、正解を導く文脈と回答に関係のない妨害文脈が混在する状況下で、文脈の内容に応じて選択的に反応するニューロンを特定し、その寄与を強化するSCoNEを提案している。まず、ニューロン・マイニングにおいて、クエリのみを入力した場合と、クエリに文脈セットを加えた場合のアクティベーションの差に基づき、Integrated Gradientsを拡張した手法を用いて各FFNニューロンの寄与度（attribution）を算出する。次に、文脈への選択性を評価するため、あるニューロンの寄与度が、それまでのインスタンスにおける寄与度の移動平均からどれだけ逸脱しているかを示す変動性（variability）を算出する。最終的な文脈認識ニューロンの選定では、正の寄与度を持つニューロンの中から、寄与度と変動性のそれぞれで上位50位に入るものの積集合を各サンプルごとに求め、全サンプルを通じて選出頻度が高いニューロンを最終的なセットとして抽出する。特定されたニューロンに対しては、推論時にそのFFN重みにスケーリング係数を乗じることで、情報の有用な文脈に対する寄与を増幅させる。
ニューロンのマイニングにはHotpotQAの訓練データから抽出した最初の100インスタンスを使用し、評価にはNQ、ASQA、SCIQ、TriviaQA、HotpotQA、TruthfulQA、PopQA、およびBERGENが提供するデータセットの検証用分割を用います。検索プロセスでは、KILTのWikipediaデータセットから100単語ずつの非重複なチャンクを作成し、SPLADE-v3を用いて各質問に対して上位5つのドキュメントを取得します。比較対象のベースラインとして、生成器の微調整を行うRAG、RetRobust、PA-RAG、およびデコード時やパラメータレベルでの推論時介入を行うCAD、IRCANを設定しています。生成器のLLMにはLlama-3-8B-InstructとQwen-2.5-7B-Instructを使用し、実験は単一のNVIDIA H200 GPU上で実施されます。SCoNEの構成要素として、強化強度、文脈に応じた上位k個のニューロンを選択する設定、およびウィンドウサイズが定義されており、公平な比較のためにIRCANと同じマイニングデータセットを用いてニューロンを特定します。
SCoNEは、Llama-3-8B-Instructを用いた実験において、7つのデータセット中6つで首位を獲得し、従来のRAGと比較して平均で3.75%精度を向上させるなど、優れた性能を示しました。追加学習を必要としない手法でありながら、ファインチューニングを行うRetRobustを3.73%上回り、PA-RAGとも0.72%以内の差に留まる高い性能を維持しています。提案手法の核となる変異性に基づく基準は、属性値のみを用いる手法よりも、検索された文脈に対して選択的に反応するニューロンを特定する上で有効であり、関連性の高い文脈だけでなく、無関係な文脈が含まれる場合でも他の手法より高い堅牢性を発揮します。ニューロンの選択基準に関する解析では、属性値のみ（Attr-only）や変異性のみ（Var-only）よりも、両者を組み合わせたSCoNE（Attr+Var）が最も高い精度を示し、変異性が属性値に対して補完的かつ実質的な信号を与えることが確認されました。また、変異性の算出において、順序に依存しない分散や標準偏差、平均絶対偏差を用いるよりも、符号なしの累積残差を用いるSCoNEの定式化の方が、効果的な信号を提供できることが示されています。ハイパーパラメータの解析では、強化強度、文脈ウィンドウサイズ、マイニング用データセットサイズ、選択ニューロン数の各設定において、極端な値を除けば、デフォルトの設定が安定して高い性能を達成することが検証されています。
RAGにおける検索ノイズへの耐性向上に関する研究は、プロンプトエンジニアリング、検索されたコンテキストの構成分析、コンテキストの精緻化、およびファインチューニングに分類される。コンテキストの精緻化には、再ランキングや圧縮、強化学習を用いた証拠抽出、アテンションに基づく圧縮などの手法がある。一方、ファインチューニングでは、関連情報と無関係な情報を混合して学習させる手法や、多角的な嗜好最適化によるアライメント、矛盾する知識に対する頑健性を高める多段階学習などが提案されている。また、モデル編集は、追加学習なしにパラメータを修正して知識や振る舞いを変える手法であり、従来は事前に既知の特定の知識を対象としていた。近年では、寄与度に基づいてコンテキストに反応するニューロンを特定し重み付けを変えるなど、知識に依存しないコンテキスト利用の制御へと研究が広がっている。提案手法であるSCoNEは、こうした知識に依存しないニューロンレベルの視点を継承し、情報量が多いコンテキストと注意を逸らすコンテキストが混在するノイズの多いマルチドキュメントRAGに対応するため、寄与度に加えて入力間の変動性を組み合わせることで、選択的にコンテキストに反応するニューロンを特定する。
本研究では、検索ノイズに対するRAGの堅牢性を向上させるためのフレームワークであるSCoNEを提案している。この手法は、属性の強さと入力間の変動性の両方を用いて特定された、文脈依存性の高いニューロンを選択的に強化することで、ノイズの影響を抑制する。様々なベンチマークを用いた実験の結果、SCoNEは強力なベースライン手法と同等以上の性能を示しており、ニューロンの変動性に基づくマイニングが実用的な基準として有効であることが示された。
提案手法であるSCoNEにおいて、選択されたニューロンは多様なベンチマーク間で効果的に転移しますが、いくつかの限界があります。本研究ではニューロンのマイニングをHotpotQAのサンプルのみを用いて行っているため、マイニングに使用するデータセットの特性が、選択されるニューロンの集合や下流タスクの挙動にどのような影響を与えるかは不明です。例えば、より難易度の高い質問応答データセットを用いることで、ニューロンの分布や転移特性が変化する可能性があります。また、現在の実験設定は正解となる内容と妨害となる内容の両方が含まれる文脈に依存しており、正解となる根拠文書のみが含まれるよりクリーンな検索設定において、ニューロンの選択がどのように変化するかは明らかになっていません。マイニング用データセットの構成や検索条件が、ニューロンのマイニングおよび堅牢性に与える影響を調査することが今後の課題です。