本研究は、教職員、学生、志願者などの大学ステークホルダーが直面する、動的な学内規定やコース情報へのアクセス困難という課題に対処するものである。従来のルールベースや静的な知識ベースでは、制度の細かなニュアンスや頻繁な変更への対応が困難であった。これに対し、本研究は大規模言語モデル（LLM）とセマンティック検索を統合し、テキストだけでなく画像クエリも処理可能なマルチモーダルなインターフェースを提供することを目指している。システムは `chat.kuet.ac.bd` として公開されており、発展途上国の大学環境におけるAI活用のギャップを埋める役割を担う。
本研究の主な貢献は、RAG技術を用いることで、高コストなファインチューニングを行うことなく、大学固有のドメイン知識に基づいた文脈依存的な回答生成を可能にした点にある。具体的には、ハルシネーション（幻覚）率をベースラインの $31.7\%$ から $6.6\%$ へと劇的に抑制することに成功した。また、量子化推論（quantized inference）を導入することで、制約のあるハードウェア環境下でもマルチモーダルな推論を実現する実用的なアーキテクチャを提示している。さらに、JWTベースの認可やHTTPS、データマスキングなどのセキュリティ対策を講じ、大学のデータガバナンスに準拠した設計を行っている。
提案システムは、バックエンドに FastAPI、フロントエンドに Next.js および React を採用した構成である。推論エンジンには量子化された $\text{LLaVA-1.5-7b}$ を使用し、画像とテキストを統合した構造化プロンプトによる視覚的推論を行う。知識ベースの構築では、PDF形式のハンドブックから正規表現でノイズを除去した後、チャンクサイズ 512、オーバーラップ 64 でテキストを分割している。これらを $\text{all-miniLM-L6-v2}$ モデルを用いて 384 次元の分散表現に変換し、$\text{Chroma}$ ベクターストアに格納する。検索プロセスでは、ユーザーのクエリを同一の埋め込みモデルでベクトル化し、コサイン類似度に基づき上位 3 つのチャンクを抽出してコンテキストとしてモデルに渡す。
160件のドメイン特化型クエリを用いた評価実験では、検索精度において Top-1 で $78.3\%$、Top-3 で $92.1\%$ を達成した。ハルシネーション率は $6.6\%$ まで低減されており、ユーザー満足度は 5 点満点中平均 $4.26$ 点と高い評価を得ている。一方で、マルチモーダルなクエリはテキストのみの場合（満足度 $4.56$ 点）と比較して、満足度が $3.95$ 点に低下し、応答時間が約 $4.6$ 秒長くなる傾向が確認された。応答時間の分布は平均 $13.57$ 秒（標準偏差 $10.87$ 秒）、範囲は $1.23$ 秒から $44.49$ 秒であり、これは 7B パラメータモデルの計算負荷や、CPUベースの前処理、逐次処理による GPU 利用率の低下が要因として挙げられている。
本研究は、RAGとマルチモーダル推論の組み合わせが大学向けアシスタントとして有効であることを実証したが、いくつかの限界も明らかになった。具体的には、複雑なマルチホップ推論の困難さ、画像入力時のレイテンシの問題、および文脈統合の不備による回答の汎用化といった課題が残されている。これらの限界を克服するための今後の展望として、より高度な RAG のバリアントである Agentic RAG や Multi-hop RAG への拡張が提案されている。また、本システムは実用的なデプロイメントモデルを示しているが、計算リソースの最適化は引き続き重要な課題である。
本研究は、大学関係者が直面する情報のアクセシビリティ問題を解決するため、Retrieval-Augmented Generation (RAG) を用いたマルチモーダル・チャットボットを提案している。提案手法は、大規模言語モデル (LLM) とセマンティック検索を組み合わせることで、大学のハンドブック等の機関固有のリソースに基づいた文脈依存的な回答を生成する。システムは Vision-Language Model を通じてテキストと画像の両方のクエリを受け付け、制約のあるハードウェアへの迅速なデプロイを実現するために量子化推論 (quantized inference) を適用している。バックエンドには FastAPI、フロントエンドには Next.js を採用し、リアルタイムなユーザビリティを確保している。評価実験の結果、画像入力時には応答時間の増加が見られるものの、高い満足度を維持しており、さらに RAG の導入によってハルシネーション率を $31.7\%$ から $6.6\%$ へと大幅に低減させることに成功している。
本研究は、大学のステークホルダー（教職員、学生、志願者等）に対し、動的な学内規定やコース情報に基づいた正確な回答を提供する、RAG（Retrieval-Augmented Generation）を用いたマルチモーダル・チャットアシスタントの開発を目的としている。従来のルールベースのシステムや静的な知識ベースでは、制度の細かなニュアンスや動的な変更への対応が困難であるという課題に対し、大規模言語モデル（LLM）と検索メカニズムを統合することで、高コストなファインチューニングなしに最新の文書情報を活用する手法を提案している。具体的には、Vision Language Model (VLM) を用いてテキストと画像の両方のクエリを処理し、semantic embeddings と ChromaDB を活用した検索パイプラインによって、文脈に応じた正確な応答を実現する。システム構成は、非同期処理が可能な FastAPI をバックエンドに、Next.js および React をフロントエンドに採用しており、量子化推論（quantized inference）の実装により、リソース効率の高いリアルタイム動作を可能にしている。本システムは `chat.kuet.ac.bd` として公開されており、ハルシネーション（幻覚）問題への対処能力や、フィードバックシステムを備えたインタラクティブなインターフェースが構築されている。
大学向けチャットボットの研究は、初期のルールベースや意味論的モデルから、高度なAIやハイブリッドアーキテクチャへと進化しており、学生支援や事務作業の効率化に寄与している。先行研究では、AIMLと潜在意味解析を用いたFAQボットや、Rasaフレームワーク、BERT、RNNを組み合わせることで意図識別精度 $97.1\%$ を達成した入学支援アシスタントなどが提案されてきた。また、緊急時対応やTelegramを用いた登録・支払い支援、さらにはTF-IDFやパターンマッチングよりも優れた性能を示す逐次ニューラルネットワークモデルを用いたカウンセリング支援など、用途は多岐にわたる。近年では、ルールベース・検索ベース・生成ベースを統合したハイブリッド型や、RAG（Retrieval-Augmented Generation）を用いたBARKPLUG V.2、GPT-4とリアルタイムデータを統合したEduChatGPTのように、文脈依存性の高い回答やパーソナライズされた学習支援を実現する手法が登場している。しかし、先進国向けのシステムは存在するものの、バングラデシュを含む発展途上国における研究は不足しており、本研究はこのギャップを埋めるためにバングラデシュの大学関係者を対象としたウェブベースのチャットアプリケーションを設計している。
提案手法は、テキストと画像のマルチモーダル入力を受け取り、大学のハンドブックに基づいた回答を生成するRAG（Retrieval-Augmented Generation）ベースのチャットアシスタントである。推論エンジンには量子化された $\text{LLaVA-1.5-7b}$ を採用し、メモリ消費の抑制と推論速度の向上を図りつつ、画像とテキストを統合した構造化プロンプトによる視覚的推論を可能にしている。知識ベースの構築では、PDF形式のハンドブックから正規表現を用いてノイズを除去した後、文脈の連続性を保つためチャンクサイズ 512、オーバーラップ 64 でテキスト分割を行い、$\text{all-miniLM-L6-v2}$ モデルを用いて 384 次元の分散表現（embedding）を生成して $\text{Chroma}$ ベクターストアに格納している。検索プロセスでは、ユーザーのクエリを同一の埋め込みモデルでベクトル化し、コサイン類似度に基づき上位 3 つのチャンクを抽出する。最終的に、抽出されたコンテキストと元のクエリを結合したプロンプトをモデルに渡すことで、ハルシネーションを抑制し、ドメイン固有の知識に基づいた回答を生成する。システムは、Intel Core i7-7700 CPU、32 GB RAM、NVIDIA GeForce GTX 1080 (8GB) を搭載した環境に Python 3.12 でデプロイされている。
本システムは、Next.jsとFastAPIを基盤とし、LLaVA-1.5-7Bを用いた視覚・言語処理、ChromaDBによるベクトル検索、およびLangChainによるRAGワークフローで構成されている。ドキュメントの処理には`PyPDFLoader`と`RecursiveCharacterTextSplitter`を用い、`all-MiniLM-L6-v2`埋め込みモデルによる意味的類似性検索を行うことで、コンテキストに基づかない回答（ハルシネーション）を抑制している。160件のドメイン特化型クエリを用いた評価では、ベースラインのLLaVA-1.5-7Bのハルシネーション率31.7%に対し、提案手法は6.6%まで低減し、検索精度はTop-1で78.3%、Top-3で92.1%を達成した。ユーザー満足度は5点満点中平均4.26点であり、テキストのみのクエリ（4.56点）に比べ、画像を含むマルチモーダルなクエリ（3.95点）は、処理オーバーヘッドにより応答時間が約4.6秒長くなる傾向がある。応答時間の分布は右に歪んでおり、平均13.57秒（標準偏差10.87秒）、範囲は1.23秒から44.49秒であったが、これは7Bパラメータモデルの計算負荷やCPUベースの前処理、逐次処理によるGPU利用率の低下が要因となっている。
本セクションでは、大学関係者向けのマルチモーダルチャットアシスタントにおけるデータプライバシー、アクセス制御、およびコンプライアンスに関する実装詳細が述べられている。セキュリティ対策として、検索機能には JWT ベースの認可が導入されており、クライアント・サーバ間の通信はすべて HTTPS によって保護されている。機密情報（メールアドレスや ID 等）はログ記録前にマスキング処理が行われ、アップロードされた画像は明示的な許可がない限りメモリ内でのみ処理される。さらに、信頼された大学ドメインからのリクエストのみを許可する厳格な CORS ポリシーが適用されている。これらの措置により、プライバシーの確保と、機関のデータガバナンスポリシーへの準拠を両立させている。
本研究は、RAG（Retrieval-Augmented Generation）とマルチモーダル推論を組み合わせることで、テキストと画像の両方のクエリに対応可能な大学向けスマートチャットアシスタントの有効性を実証した。セマンティック埋め込み、ベクトルストレージ、および検索パイプラインを活用することで、静的な知識ベースへの依存を減らし、大規模言語モデルに特有のハルシネーションを抑制しながら文脈に基づいた回答を生成する。本システムは公開ウェブアプリケーションとしてデプロイされ、大学のステークホルダーに対する実用性が示されたが、マルチホップ推論の困難さやレイテンシの問題、および文脈統合の不備による汎用的な回答に留まるといった限界も明らかになった。今後の展望として、より信頼性の高いシステムを構築するために、Agentic RAGやMulti-hop RAGといった高度なRAGのバリアントへの拡張が挙げられている。