Ragas（RAG評価指標）
意味・解説
RAG（検索拡張生成）システムの品質を、「検索の正確性」や「回答の誠実さ」などの複数の観点から自動で数値化して評価するためのフレームワーク。
主に「Faithfulness（忠実性）」「Answer Relevance（回答の関連性）」「Context 適合率（文脈の適合度）」の3つの指標で、AI（人工知能）が嘘をついていないか、適切な資料を引用できているかを測定する。
くわしく
「RAG（検索拡張生成）という『試験勉強中のAI』に対する、自動採点システム」です。
1.評価の3本柱：
①『カンニングペーパー（検索結果）を正しく使っているか』、②『質問にちゃんと答えているか』、③『必要な資料を正しく見つけられたか』をチェックします。
2.大規模言語モデル（LLM）-as-a-judge：
人間が採点する代わりに、より高度なAIがこれらの指標を計算します。ポイントは、RAGは調整が非常に難しく、改善したつもりが別の場所で嘘をつき始めることがあるため、客観的な「物差し」で常に監視する必要があるからです。
例文
社内マニュアル検索システムの精度向上のため、Ragasを用いて『Faithfulness』スコアを測定し、AIが勝手な推測で答えていないかを検証した。
同義語: RAG評価フレームワーク
分類: AIシステムの品質管理