AO2 FIELD GUIDE · N052 · AI 問答與 RAG 應用
RAG 錯誤定位從原始來源一路核對文字擷取、索引、檢索、上下文與生成，附故障定位表與重現紀錄。用帶條件的假想規格例子，區分找不到、沒傳入和讀錯，避免每次答錯都直接換模型。
使用者說「文件明明有寫，機器人為什麼回答錯？」有文件不等於這一次檢索取到，有取到也不等於完整送進模型。先保留當次路徑，沿著資料流逐段核對，才能知道應修來源、檢索還是答案生成。
RAG 錯誤定位，先保留同一次問題的證據
記下問題、必要角色條件、來源版本、檢索結果、實際組成的上下文與最終答案，並用同一請求識別連起來。若只有聊天文字，通常無法分辨模型沒看到依據，還是看到了卻錯用。重現時固定可固定的設定，記錄變動；生成可能有差異，不能因第二次剛好正確就當第一次問題已消失。
文件存在、檢索取到、上下文帶入、答案忠實，是四個不同的確認。Microsoft 的 RAG 設計與評估說明分開看流程階段及整體輸出；本文把這個思路整理為故障追查，不提供可取代實際測試的通用分數門檻，也不把所有錯誤歸到單一環節。
白話例子：書在圖書館，讀書報告仍可能寫錯
假想電子接頭資料寫「僅在指定配置下適用」，問答卻回成所有配置都可以。像一本書雖在圖書館，可能目錄找錯、借來的影本漏頁、摘要只摘半句，或報告把限制讀反。只確認館裡有書，就指責寫報告的人，會漏掉前面的錯誤。
藏書對應來源，影本對應擷取片段，交到桌上的資料對應模型實際上下文，報告才是生成答案。這是刻意簡化的假想案例，RAG 並非真的閱讀紙本。它也可能同時漏找與錯誤推論；修好一段後仍要重新走完整流程，不能因找到一個原因就預設其他段落都正常。
先核對來源、擷取與索引，再看檢索
人工打開原始來源，確認預期答案真有依據且版本適用。接著看處理後文字：表格的列名、註腳、否定詞與配置條件是否保留；若限制被切到另一片段，檢索到規格值仍可能不足。再確認該版本是否成功進入可查索引，不能把上傳成功當成索引已就緒。
檢索階段核對當次查詢、可用來源範圍、必要篩選與實際回傳片段。正確資料未回傳時，再依證據查語詞、切段、篩選或排序，不直接提高回傳數量。增加片段可能引入其他版本或無關內容；也不能為了找得到就移除存取限制，把未授權資料送進上下文。
| 檢查點 | 應看到的證據 | 缺陷優先方向 |
|---|---|---|
| 原始來源 | 有效版本與完整條件 | 來源不足先補資料 |
| 擷取與索引 | 表格、註腳及版本可查 | 修擷取、切段或同步 |
| 當次檢索 | 正確且允許使用的片段 | 查篩選、排序與問法 |
| 實際上下文 | 必要片段及條件確實傳入 | 查截短與組裝 |
| 最終答案 | 主張逐項有依據 | 查生成與回答範圍 |
看實際上下文，區分沒傳入與讀錯
檢索回傳不代表全部進入模型，後續可能截短、重排或只保留部分片段。核對真正組成的上下文及來源識別，確認必要條件與相鄰說明是否一起存在。若此處遺失，先修組裝規則與容量安排，再談更換模型。來源標籤本身也要能對回原文，不能只因答案附一個連結就判為有根據。
若完整有效來源已在上下文中，卻仍漏限制，可用人工挑選的正確片段做受控比較，觀察答案是否改善。這能幫助隔離生成問題，但不代表整個檢索系統已通過。逐項對照答案主張與來源，區分忠於來源卻未答完整、回答了卻添加無依據結論，以及來源本身就不足。
一次修一段，再回到完整路徑重測
先處理證據最明確的缺陷，保留修正前後的來源、設定與結果，避免同時改切段、搜尋、提示與模型後無法知道何者有效。回測原失敗題，也加上相近但條件不同的題目、未知情境及必要限制，確認修正未把特定答案硬套到其他問題。完整測試集規劃另有指南，本篇只聚焦定位與修正證據。
一段修好了，要看整條路是否變好；單次答對不等於原因已查清。若受控上下文仍反覆錯用關鍵條件，可縮小自動回答範圍或轉人工，留下待處理問題。結果紀錄寫清哪段已確認、哪段仍未知，以及下次需要什麼證據，不用「AI 不穩定」把可改善的流程全部帶過。
| 欄位 | 要留下什麼 | 判讀用途 |
|---|---|---|
| 題目及情境 | 去除不必要個資的問題與角色條件 | 確認比較的是同一任務 |
| 來源及設定 | 資料版、索引版與流程設定 | 知道哪個變動可能影響 |
| 當次路徑 | 檢索、上下文及答案識別 | 分開找不到與沒帶入 |
| 修正及回測 | 單項變更、原題與鄰近題結果 | 辨認改善及副作用 |
常見問題
答案錯了，先換更強模型會比較快嗎？
先看錯誤在哪一段。來源缺條件、擷取漏表格或檢索沒找到時，更換模型未必能補回依據。保留當次檢索與實際上下文，確認模型看到了什麼，再測生成能力。若完整來源已傳入仍常錯用，才有比較模型或限制回答範圍的依據，不把一次換模型後答對當成整體原因已排除。
搜尋結果有正確文件，為什麼還需要查上下文？
檢索結果可能經過重排、截短或取部分片段，文件名稱正確不代表必要條件有送入模型。應看實際上下文的文字與來源識別，確認限制、版本及註腳完整。若此處遺失，優先改善組裝；若已完整傳入再查答案主張。兩段分開，才能避免在模型或搜尋端反覆調整卻沒有處理真正缺口。
手動給正確片段後答對，就代表 RAG 修好了嗎？
只能說明在那組受控內容下答案較符合預期，有助定位問題。原本資料擷取、索引、檢索與上下文組裝仍需通過，因為使用者不會每次手動選片段。把修正放回完整路徑，回測原失敗題、相近條件與無資料情境，確認來源與限制都保留，再說明哪些範圍已驗證，不將局部測試當成全系統通過。
白話總結：書到了桌上，也要確認沒漏頁、沒讀反
沿著來源、擷取、檢索、上下文與答案逐段核對，一次修明確缺陷，再回到完整路徑。
- 留證據：用同一請求連起問題、來源、片段、上下文與答案。
- 分段查：先確認資料存在且完整，再看有無取到及實際傳入。
- 重測路：修一段後測原題與相近題，記錄已確認和仍未知部分。
完成條件：團隊能用當次證據說明錯在哪段、改了什麼，以及完整路徑的品質是否確實改善。
來源與方法範圍
資料查核：2026 年 10 月 24 日。來源支持文中對應的準則與平台說明；工作表、判斷步驟及已標示的假想情境由 AO2 整理，實際使用時依產品資料與現行設定核對。
