EUサイバーレジリエンス法(CRA)への準拠には、主張、論拠、証拠という木構造の論理構成を持つアシュアランスケース(AC)の構築が必要である。しかし、設計書やテスト報告書などの分散した技術文書から適切な証拠を見出し、規制要件と体系的に紐付ける作業は、高度な専門知識と多大な労力を要する。従来のLLMを用いた手法は、定義済みのテンプレートへの当てはめに限定されることや、製品の実際のエビデンスに基づかない事実誤認、さらには技術的推論の評価が困難であるといった課題がある。
従来のテンプレート依存型やLLMの内部知識に頼る手法とは異なり、分散した非構造的ドキュメントから反復的な検索と洗練を通じて根拠を見出すエージェント的なアプローチを導入している。また、実世界のラベル付きデータが不足している状況に対応するため、エージェント型RAGで生成した構造化データから合成データを作成し、未知の監査要件へ汎化させるSynthetic-to-Realアプローチを提案している。さらに、自然言語推論(NLI)を用いた解釈可能な評価フレームワークを組み合わせることで、トレーサビリティと論理的一貫性の検証を可能にしている。
ReActメソッドに基づくエージェント型RAGを用い、規制要件と製品コンテキストを初期入力として、検索クエリの生成、情報の取得、クエリの洗練を繰り返すことで、主張・論拠・証拠からなる階層的なJSON形式のACを構築する。ドキュメント処理にはDoclingを用い、3000文字のチャンクに分割してChromaDBにインデックス化し、L2距離による意味検索とファイル名フィルタリングを組み合わせたハイブリッド検索を行う。評価においては、生成された構造化データからNLIのペアを作成して学習を行い、独立した監査人の記録をマルチホップ推論タスクに変換して汎化性能を検証する。また、トークンレベルのヒートマップを用いて、NLIモデルの説明がドメイン専門家の判断と一致するかを検証する。
Catalink社の森林火災監視システムを対象としたケーススタディでは、CRAの7つの要件に対し計70件のACを生成し、1つのACあたり平均4.4個のアーティファクトというグラウンディング密度を達成した。証拠ノードの86.2%が技術文書への直接参照を含む高いトレーサビリティを示した。NLI評価器の性能では、BERTを用いた教師あり微調整がLLaMAを用いたインコンテキスト学習を最大35%上回り、未知の監査データに対して精度0.88、F1スコア0.85を記録した。専門家による妥当性調査では、3.06というスコアを得て、BERTによる説明の技術的な忠実度が高いことが確認された。
本手法は、生成された論理的整合性が必ずしも法的な適合性を保証するものではないため、最終的な形式的なコンプライアンス判定には依然として専門家による評価が必要である。評価プロセスにおいて、LLM JudgeはLLaMAによる説明を過大評価する妥当性バイアスを示す傾向がある。また、推論において階層的な構造を保持するChain設定よりも、線形化された設定の方が実世界の監査データに対して高い汎化性能を示すというトレードオフが存在する。今後の課題として、法務専門家を巻き込んだ形式的な適合性確認の検証が挙げられる。
本研究は、EUサイバーレジリエンス法(CRA)への準拠に必要なアシュアランスケース(AC)の生成を自動化するため、主張・論拠・証拠の論理構造に基づいたエージェント型RAGフレームワークを提案している。この手法は、技術文書の要件を体系的にマッピングすることで、従来は手動で行われていた文書検索とAC構築のプロセスを効率化し、透明性の高い意思決定支援を実現する。Catalink社の森林火災監視システムを用いたケーススタディでは、エージェント型RAGによって70個のACが生成され、1つのACあたり平均4.4個のアーティファクトというグラウンディング密度を達成した。評価においては、自然言語推論(NLI)を用いた評価器が0.88の精度を記録してトレーサビリティを確保しており、さらに専門家による妥当性の検証でも3.06というスコアを得て、解釈可能な正当性が示されている。このフレームワークは、中小企業にとってリソース集約的な規制遵守プロセスを、スケール可能かつ解釈可能な形で自動化する手段を提供する。
安全・セキュリティに重要な要件定義において、主張、議論、証拠という木構造の論理構成を持つアシュアランスケース(AC)の構築は、専門知識を要する多大な労力が必要なプロセスであり、EUサイバーレジリエンス法(CRA)の施行に伴い、特に中小企業にとって大きな負担となっている。既存のLLMを用いた自動化手法は、定義済みのテンプレートへの当てはめに限定されることや、断片的な技術文書との深いトレーサビリティの確保、機密保持のためのローカル環境での動作、さらには技術的推論の評価の難しさといった課題がある。本研究では、組織固有のローカルな知識源から取得した技術文書に基づき、主張・議論・証拠(CAE)構造を持つACを構築するAgentic RAGフレームワークを提案する。この手法は、証拠自体の正当性ではなく、生成された主張が関連する証拠や下位の主張によって意味的に支持されているかという論理的一貫性の検証に焦点を当てている。評価には、生成された要素間の意味的サポートを測定する自然言語推論(NLI)ベースの解釈可能なフレームワークを用い、さらにドメインエキスパートによる妥当性調査を組み合わせている。Catalink社の森林火災監視システムを用いた産業事例での検証では、CRAの7つの要件に対応する計70件のACを自動構築し、1つのACあたり平均4.4個の根拠に基づいた構成要素を生成した。また、NLI評価器は未知の監査データに対して、精度0.88、F1スコア0.85を達成している。
アシュアランスケースの生成に関する従来研究は、安全パターンや再利用可能なテンプレートを用いる手法から、大規模言語モデルを用いて高レベルな要件からGSN構造を合成する手法へと進化してきました。また、議論の弱点となる打ち消し要素を自動生成して議論を強化する手法も存在しますが、多くの手法は大規模言語モデルの内部知識に依存しており、製品の実際のエビデンスに基づかないため、構文的には正しくても事実関係が誤るという産業界の課題があります。既存のフレームワークは構造化されたテンプレートを前提としがちですが、分散した非構造的なドキュメントから根拠を見出すには、反復的な検索と洗練を行うエージェント的なアプローチが必要です。評価手法については、構造的な基準やグラフ解析から、証拠が主張を論理的に含意するかを検証するマルチホップNLI(自然言語推論)へと発展しており、近年では大規模言語モデルを判定員として用いる手法も提案されています。しかし、大規模言語モデルによる評価は外部の技術的文脈へのアクセスが不足しているため、評価が曖昧になる傾向があります。本研究は、これらに対し、エージェント型RAGによる生成と、合成データから実データへと評価を拡張する手法を組み合わせることで、この課題に対処します。
PATROLIoTは、農村地域の監視や火災検知を支援するために、環境センサーやカメラを備えたIoTシステムです。このシステムはデータをバックエンドへ送信するため、EUのサイバーレジリエンス法(CRA)の対象となりますが、重要またはクリティカルな製品の基準には該当しないため、中小企業による自己評価が求められます。しかし、専門のサイバーセキュリティや規制遵守の担当者が不在の中小企業にとって、どの技術文書が適切な証拠となるか、またそれらをどのように整理してCRAの各条文と体系的に紐付けるべきかを判断することは困難です。関連情報は設計書やテスト報告書、内部記録などに分散しており、保証論証の作成には高度な専門知識と多大な時間を要することが、迅速な法令遵守への大きな障壁となっています。
本手法は、ReActメソッドに基づくエージェント型RAGを用いて、規制要件に根ざしたアシュアランスケースを反復的に生成するフレームワークを提案している。エージェントは、規制要件と製品コンテキスト(製品説明やセキュリティ機能等を含む1800文字未満のJSON)を初期入力とし、検索クエリの生成と情報の取得、クエリの洗練を繰り返すことで、主張、論拠、証拠からなる階層的なJSON形式の成果物を構築する。ドキュメント処理にはDoclingを用い、3000文字のチャンク(500文字のオーバーラップあり)として分割してChromaDBにインデックス化し、L2距離を用いた意味検索と、ファイル名に基づくフィルタリングを組み合わせたハイブリッドな検索ツールを活用することで、産業用ドキュメントにおける高い再現性を確保している。評価手法として、実データが不足している状況を想定したSynthetic-to-Realアプローチを導入しており、まずAgentic RAGで生成した構造化データから自然言語推論のペアを作成して合成データによる学習を行い、次に独立した監査人の記録をマルチホップ推論タスクに変換して、学習した論理が実務的な監査要件に汎化できるかを検証する。さらに、自然言語推論モデルの解釈性を評価するため、トークンレベルのヒートマップがドメイン専門家の判断と一致するかを5段階のリッカート尺度を用いて検証する専門家妥当性調査を実施している。
本研究では、生成された保証主張と技術的証拠の間の根拠付けと追跡可能性、合成データで訓練された自然言語推論(NLI)モデルの未知の産業用アセスメント文書への汎化性能、およびNLIモデルの説明の妥当性を評価するための3つのリサーチクエスチョンを設定しています。比較実験では、技術文書へのアクセスなしにLLMの内部知識のみで合成データを作成するVanilla-LLMをベースラインとし、提案するAgentic RAGを用いて特定の技術的証拠に基づいたデータで訓練する手法と比較します。NLIモデルの構成として、教師あり微調整を行うBERTと、勾配ベースの説明抽出を計算可能にするために1B規模のLLaMAを用いたインコンテキスト学習の2種類を検討し、専門家による妥当性評価にはQwen2.5-32B-Instructを使用します。データセットはEUサイバーレジリエンス法(CRA)の7つの要件に基づき、4つの要件から生成された計4,200件(Chainあり)または2,700件(Chainなし)のインスタンスペアを訓練セットとし、残りの3つの未知の要件からなる計30件(Chainあり)または24件(Chainなし)のインスタンスペアをテストセットとして用いることで、新しい規制条項への汎化能力を評価します。なお、機密性の高い技術文書を外部サービスに送信しないよう、すべてのプロセスはローカル環境で実行されます。
本研究では、EUサイバーレジリエンス法(CRA)への準拠を支援するエージェント型RAGフレームワークの有効性を検証している。根拠の追跡可能性に関する評価では、生成された証拠ノードの86.2%が技術文書への直接的な参照を含んでおり、不整合なメタデータを持つ産業用リポジトリにおいても高いトレーサビリティを維持できることが示された。自然言語推論(NLI)評価器の性能実験では、エージェント型RAGを用いて生成した合成データで学習したモデルが、通常のLLMによる合成データを用いた場合よりも高い精度を示し、ドキュメントへの接地(Grounding)の重要性が確認された。また、推論プロセスにおいて階層的な構造を保持するChain設定よりも、線形化された設定の方が実世界の監査データに対して高い汎化性能を示し、BERTを用いたファインチューニングはLLaMAを用いたインコンテキスト学習(ICL)を最大35%上回る性能を記録した。専門家による説明の妥当性評価では、BERTによる説明が技術的な忠実度において高く評価された一方、LLM JudgeはLLaMAの説明を過大評価する妥当性バイアスを示す傾向が確認された。本手法は、中小企業における自己評価の負担を軽減し、監査前に文書の欠落を特定する診断ツールとして機能する可能性があるが、生成される論理的整合性が必ずしも法的な適合性を保証するものではない。
本研究では、EUサイバーレジリエンス法(CRA)への準拠に向けた、アシュアランスケースの自動生成および評価のためのエージェント型RAGフレームワークを提案した。このフレームワークは、性質の異なる技術文書から情報の検索とアシュアランスケースの構築を自動化し、情報の出所に関するトレーサビリティを維持する。実世界のラベル付きデータが不足している状況においても、エージェントに基づいた合成データを用いることで、未知の監査要件への汎化を支援できる。また、解釈可能な自然言語推論を導入することで、エンジニアがコンプライアンス関連の決定における技術的根拠を検証することを可能にする。本手法は、CRAのワークフローにおいて追跡可能かつ解釈可能な支援を提供するが、最終的な形式的なコンプライアンス判定には依然として専門家による評価が必要である。