大規模言語モデル（LLM）が個人の過去の経験や会話履歴に基づいた回答を生成するための、検索拡張生成（RAG）における検索フェーズを対象としている。LINEのような日常的なメッセージ履歴は、短文、省略、誤字、口語表現、文脈依存性が高く、ユーザーの質問文とメッセージの語彙が直接一致しないため、従来の文書検索手法では困難である。本研究では、一人のユーザーのメッセージ履歴から構成される検索用チャンクに対し、適切な検索表現と検索アルゴリズムの組み合わせを特定することを目的としている。
個人の会話履歴という、語彙の不一致や文脈依存性が高いデータセットに対し、検索表現（原文、要約、およびその組み合わせ）と検索手法（BM25、ベクトル検索、ハイブリッド検索）を比較した点に新規性がある。単一の検索器では、要約による意味情報の補完と原文による固有名詞等の保持を組み合わせた表現が有効であることを示した。さらに、複数の検索器を線形結合するハイブリッド検索を用いることで、単一の手法を上回る検索精度を実現できることを明らかにした。
358,896件のメッセージを、時間的な一貫性を考慮して22,329個のチャンクに分割し、3種類の検索表現を構築した。表現には、原文（raw_text）、LLMで生成した自然言語の要約（summary）、および要約と原文の抜粋を連結したテキスト（embedding_text）がある。検索アルゴリズムとして、正規表現によるトークナイズを用いたBM25、OpenAIのモデルを用いた密ベクトル検索、およびこれら上位200件の結果を正規化して重み付け線形結合するハイブリッド検索を実装した。
100個の質問（固有名詞に関するもの、文脈に関するもの、集約的な情報の3種）を用い、Recall@5、MRR@5、nDCG@5を指標として評価した。単一の検索器では、embedding_textを用いたBM25がRecall@5で0.584と最高値を示した。ハイブリッド検索では、embedding_textを用いたBM25とベクトル検索を重み0.45で組み合わせた設定が、Recall@5で0.697、MRR@5で0.595、nDCG@5で0.575に達し、単一のBM25から0.113の向上を確認した。一方で、集約的な質問に対するRecall@5は0.345に留まった。
要約が意味を、原文が具体的な語彙を担うという情報の相補性が有効であると考えられるが、各構成要素（固定接頭辞、要約、原文抜粋）の寄与度を特定するアブレーション解析は行われていない。複数の箇所に証拠が分散する集約的な質問に対しては、現在のフラットなチャンク単位の検索では限界があり、階層的な要約やマルチホップ検索など、検索単位やメモリ構造自体の再設計が必要である。また、本研究は単一ユーザーかつ単一のアノテーターによる探索的な調査であり、結果の汎化性能や、検索結果をLLMに渡した際の最終的な回答の正確性については評価されていない。
本研究は、大規模言語モデルを用いた個人の記憶に基づく検索拡張生成（RAG）の初期段階として、一人のユーザーのLINE会話履歴を用いた検索手法の比較検討を行うケーススタディである。358,896件のメッセージを時間的な一貫性を持つ22,329個のチャンクに分割し、生のテキスト、生成された要約、および要約と原文の抜粋を組み合わせたテキストの3種類の検索表現を構築した。100個の評価用質問に対し、BM25、密ベクトル検索、およびそれらを線形結合するハイブリッド検索を比較した結果、単一の検索器では要約と原文を組み合わせた表現を用いたBM25がRecall@5で0.584という最高値を示した。さらに、6組の検索器の組み合わせと21通りの重みを用いた126通りの設定を探索したところ、特定の組み合わせにおいてRecall@5が0.697、MRR@5が0.595、nDCG@5が0.575に達し、単一のBM25よりもRecall@5が0.113向上した。一方で、複数の会話にまたがる集約的な質問では、チャンク単位のフラットな検索では性能が低下する傾向が見られた。本研究は単一ユーザーかつ単一のアノテーターによる探索的な調査であり、最終的な回答生成能力や未知の質問への汎化性能を評価したものではない。
本研究は、個人の過去の経験や会話履歴を検索可能なデータベースとして活用するPersonal Memory RAGの基盤となる、会話履歴の検索手法を調査している。LINEのメッセージ履歴から構成された22,329個のチャンク（計358,896メッセージ）を用い、LLMによる回答生成を含まない検索精度のみに焦点を当てた評価環境を構築した。検索対象の表現として、原文、会話の自然言語要約、および要約と原文の抜粋を組み合わせた検索表現の3種類を比較している。検索アルゴリズムについては、BM25、密ベクトル検索、およびそれらを組み合わせた線形ハイブリッド検索の性能を、Top-5の検索精度において評価した。実験の結果、個別の検索器では要約と原文を組み合わせた表現を用いたBM25が最も高い推定値を示し、ハイブリッド検索では要約ベースのBM25と要約ベースのベクトル検索を組み合わせた手法が最も高い推定値に達した。一方で、複数の箇所に分散した証拠を必要とする集約的な質問に対しては、フラットなチャンク単位の検索のみでは性能が低下するという課題も明らかになった。
Retrieval-Augmented Generation (RAG)は、大規模言語モデルが保持していない外部知識や個別の文脈を補完するために、外部情報を入力コンテキストに追加する手法ですが、本研究では回答生成の評価ではなく、その前段階である検索フェーズに焦点を当てています。個人の会話履歴を外部メモリとして扱うPersonal Memory RAGの文脈において、LINEのような日常的かつ短文で省略の多いプライベートな会話履歴における検索表現の比較研究は限定的です。会話履歴の検索は、話者や時系列、周囲の文脈が重要であり、個々の発話が短く省略されているという点で従来の文書検索とは異なります。そのため、本研究では各発話を独立した検索単位とするのではなく、時間的な一貫性を持つ単位へと履歴をチャンク化して扱います。検索手法については、語彙の一致に強いBM25による疎な検索、意味的な類似性を捉える密な検索、およびその両方を組み合わせたハイブリッド検索を比較します。これは、個人の会話履歴において、固有名詞や特定の語彙といった正確な一致と、口語表現を含む抽象的な意味の両方が必要とされるためです。
本研究では、358,896件のメッセージからなるLINEの履歴データを使用し、メッセージ間の間隔が180分を超える箇所でセッションを分割した上で、最大42メッセージ、スライド幅36メッセージ、重複6メッセージのウィンドウを用いて22,329個の検索単位（チャンク）を作成した。各チャンクには、3種類の検索表現が用意されている。1つ目は、タイムスタンプ、話者、テキストを連結した、実際の語彙や口語表現を保持するraw_textであり、その平均文字数は635文字である。2つ目は、gpt-4o-miniを用いて生成された、各チャンクの内容を約200から500文字程度の自然言語で要約したsummaryである。3つ目は、固定の導入文、AIによる要約、および原文の抜粋（最大4,000文字）を特定の順序で連結して構成したembedding_textである。なお、要約の生成や埋め込み用テキストの作成において、文字数制限に基づく切り捨て処理が行われている。
本研究では、LLMによる回答生成を含まない検索のみの設定で、22,329個の会話チャンクを対象とした検索性能を評価する。評価用データセットは、NotebookLMを用いて生成された候補質問と根拠に基づき、研究者が100個の質問と関連度ラベルを精査して作成したもので、質問は固有名詞に関するnamed_entity、文脈を要するcontextual、複数の情報を統合するaggregateの3種類に分類される。関連度は、回答を単独で支えるチャンクを2、背景情報等を提供するチャンクを1、回答に寄与しないチャンクを0として定義し、最終的なアノテーションには144個のprimary goldと45個のsecondary-goldが含まれる。評価指標には、primary goldに基づくRecall@5およびMRR@5と、0から2の段階的な関連度を用いるnDCG@5を使用する。統計的な有意差の算出には、質問をサンプリング単位としたブートストラップ法を用いて95%信頼区間を計算しているが、ハイブリッド検索の最適な重み設定はRecall@5を最大化するように事前に選択されているため、この信頼区間には設定選択に伴う不確実性は含まれない。
本研究では、BM25によるキーワード検索、OpenAIのtext-embedding-3-smallを用いたベクトル検索、およびそれらを組み合わせたハイブリッド検索の3手法を評価している。BM25では、形態素解析や文字n-gramを用いず、正規表現によるトークナイズを採用しており、英数字や特定の長さ以上のカタカナ・漢字を抽出する一方で、日本語の指示詞や一般的な会話用語をストップワードとして除外している。ベクトル検索では、1,536次元の埋め込みベクトルを用い、L2正規化を施した上で、全22,329個のチャンクに対して行列とベクトルの内積計算を行うことで類似度を算出している。ハイブリッド検索では、各手法から上位200件を抽出し、それぞれのスコアを最小値と最大値を用いて0から1の範囲に正規化した後、BM25の重みパラメータを用いて線形結合することで、両手法を統合している。実験の結果、上位200件の候補生成段階におけるリコール（Recall@200）は、summaryを用いた場合に0.788から0.827、embedding_textを用いた場合に0.859から0.888の範囲にあり、理想的な統合（oracle union）では最大0.941に達する。このことから、候補生成の段階で正解チャンクが欠落することが、再ランキングのみで達成可能な性能の限界となっている。
単一のリトリーバーによる評価では、要約と生のテキストの抜粋を組み合わせたembedding_text_bm25がRecall@5で0.584という最も高い点数を示し、要約と生の抜粋を併用することが有効であるという仮説と一致する結果となった。BM25とベクトル検索のスコアを線形結合するハイブリッド検索では、embedding_text_bm25とembedding_text_vectorを組み合わせ、重みパラメータを0.2とした構成がRecall@5で0.697、MRR@5で0.595、nDCG@5で0.575という最も高い点推定値を得た。5,000回のペア・ブートストラップ法を用いた検証において、この最良のハイブリッド構成はembedding_text_bm25と比較してRecall@5が0.113向上したが、これは特定の構成を選択した条件付きの比較であり、未知の質問に対する優位性を確定的に示すものではない。質問タイプ別の性能では、固有名詞に関する質問でRecall@5が0.789、文脈に関する質問で0.755であったのに対し、集約的な質問では0.345という低い点推定値となった。ただし、これらの結果も選択された構成に基づく条件付きの数値であり、質問タイプ間における明確な差を結論付けるものではない。
最も優れた性能を示したハイブリッド手法（BM25とベクトル検索の組み合わせ）において、100問中22問で上位5件以内に正解となるチャンクが含まれない失敗が発生した。質問タイプ別では、固有名詞、文脈、集約的な質問のいずれでも失敗が見られたが、特に個人の傾向や役割、継続的な活動を問う集約的な質問において失敗率が最も高かった。集約的な質問は証拠となる情報が複数のチャンク、日付、人物、会話ソースに分散しているため、フラットなチャンク単位の検索では、局所的に関連するチャンクは回収できても、回答に必要な複数の証拠を上位に揃えることが困難である。要約を用いたハイブリッド手法の失敗事例を分類した補助的な分析では、集約的な質問の失敗のうち、検索対象を上位10件や20件へと拡張することで一部回収できることが示された。一方で、検索範囲を広げても回収できない問題については、単なる検索数の増加ではなく、検索単位やメモリ構造自体の再設計が必要である可能性が示唆されている。また、BM25とベクトル検索の単体性能を比較すると、両者は異なる質問に対して成功する傾向があり、これらが補完的に機能していることが示された。
要約と生の抜粋を組み合わせたembedding_text構成は、単一の検索手法ではBM25を用いた場合に最も高い推定値を示し、ハイブリッド検索ではBM25とベクトル検索を組み合わせた手法が最も高い性能を得た。これは、要約が会話の意味を記述し、生の抜粋が固有名詞や日付などの具体的な語彙を保持するという、情報の相補性が有効であるという仮説と整合している。しかし、本研究では固定接頭辞、要約、生の抜粋の各要素を個別に分離して評価するアブレーション解析を行っていないため、どの要素が性能向上に寄与したかを特定するには至っていない。また、集約的な質問に対する性能は、固有名詞や文脈に関する質問よりも低かったことから、証拠が複数の会話や日付に分散している場合には、単一のクエリによるフラットなチャンク検索では不十分である可能性が示唆された。今後の展望として、LLMを用いたクエリの拡張や分解、再ランキング、およびトピックや人物のタイムラインといった階層的なメモリ表現の導入が、個人用メモリRAGの精度向上に向けた検討課題として挙げられている。
本研究は単一ユーザーのLINE履歴を用いた探索的なケーススタディであり、結果を他のユーザーや言語、プラットフォームへ一般化することはできない。評価用質問の生成にはNotebookLMを使用しており、質問の分布が特定の形式やトピックに偏っている可能性や、正解ラベルの付与が単一の注釈者によって行われたため、網羅性や注釈者間の一致度が検証されていないという限界がある。検索手法については、BM25が形態素解析を行わない正規表現トークナイザーであるため口語表現に不利に働く可能性があり、要約を用いた検索との性能差が表現力の差のみに起因するかは断定できない。また、要約のハルシネーションや欠落の監査、および検索結果をLLMに渡した際の回答の正確性や忠実度の評価は行われていない。再現性の観点では、要約生成時のモデルのスナップショットやAPIの再試行履歴、SDKのバージョンなどが記録されていない。倫理面では、第三者の通信内容を外部のAPIへ送信しており、会話相手の明示的な同意や機関の倫理審査を経ていないため、プライバシー保護や再識別防止に関する正式な保証はない。
本研究は、大規模言語モデルのためのパーソナルメモリRAGの初期段階として、個人のLINE会話履歴を用いた検索のみの評価を行った。1ユーザーの358,896件のメッセージを22,329個のチャンクに分割し、100個の質問に対して回答を支援するチャンクが検索できるかを、生のテキスト、要約、および埋め込みテキストという3つの検索表現を用いて比較した。単一の検索器の中では、BM25を用いた埋め込みテキストによる検索が最も高い点推定値を示した。BM25を用いた埋め込みテキストとベクトル検索を組み合わせたハイブリッド手法は、上位5件に含まれる再現率を示すRecall@5において0.697を記録し、単一の検索器による最良の結果を0.113上回った。ただし、この差の信頼区間には構成や選択に伴う不確実性が含まれていないため、本結果は探索的なものとして解釈される。なお、コンポーネントごとのアブレーション解析は行っておらず、要約や生の抜粋、固定接頭辞が個別にどの程度寄与しているかは特定されていない。