AO2 FIELD GUIDE · N057 · AI 問答與 RAG 應用
RAG 資料更新驗證要追查來源、處理、索引、檢索與答案，並區分快取及舊對話影響。附更新狀態帳與回測表，驗證新事實生效、錯誤片段退場、合理歷史仍可查，不把重新上傳當成更新完成。
文件換了新版本，機器人卻還回答昨天的資訊。先別急著重訓模型：資料可能尚未進入索引，也可能當次仍用了舊片段、舊快取或舊對話。更新驗證要追完一條路，而不是只看上傳按鈕顯示成功。
RAG 資料更新驗證，先寫哪些事實應改變
更新單先記來源識別、修訂版、變更主張、適用條件與預期結果。區分更正錯誤、替換現行資料、保留歷史版本與整份停用：不是每個舊答案都應失效。如果舊產品仍需維護，其正確歷史資料可在相應條件下繼續使用；已更正的錯誤則不能又以現行答案出現。
更新完成，要同時說得出新資料在哪裡生效，以及舊資料在哪些入口不能再用。本篇驗證一筆更新如何走完流程。多個產品版本並存時的選擇條件另有專文，不用刪掉所有舊版來製造表面一致，也不把資料庫同步誤稱為模型已重新學會。
白話例子：菜單換了，點餐平板也要跟著換
假想電子產品資料更正一項相容配置，原始文件已更新，但問答仍沿用舊片段。像餐廳換了菜單，廚房看新版、點餐平板仍是舊版，服務生又拿昨天的筆記回覆。你需要知道資訊在哪一站停住，不能只展示新的紙本菜單就宣布所有入口同步完成。
紙本對應來源，平板對應可查索引，筆記對應快取或舊對話帶入的內容。比喻只用來辨認資訊副本，實際系統可能沒有這些元件，需查當前架構。這是未執行的假想例子；RAG 更新通常處理外部資料路徑，與模型訓練權重是不同工作，不保證更新一份文件就立即改變所有回答。
用狀態帳追來源、處理與索引發布
依實際流程記錄來源已核准、擷取已完成、片段已建立、索引版本已發布與可查驗證。每一站帶來源版號及時間，失敗或待處理明確標記。若處理成功但查詢仍落在另一個索引別名，問題就在發布接線；若表格或限制在新版擷取時遺失，更新雖到位仍不能算內容正確。
以 AWS Bedrock 知識庫資料源為例，官方文件說明新增、修改與刪除檔案後要同步，並描述其增量處理行為。這是該平台流程，不代表所有系統都同樣自動或即時。自己的更新單應寫明實際觸發方式、完成訊號與失敗處理，並確認停用或刪除來源後，舊索引片段是否仍存在。
| 階段 | 需要留下的識別 | 完成證據 |
|---|---|---|
| 核准來源 | 文件 ID、修訂版與變更主張 | 新舊差異及適用條件 |
| 資料處理 | 作業、擷取與片段版本 | 限制與表格未遺失 |
| 索引發布 | 索引版與查詢實際指向 | 新片段可查、舊片段狀態明確 |
| 答案路徑 | 對話、快取與測試識別 | 來源及答案符合預期 |
回測新事實、舊錯誤與不該變的答案
至少準備三類題：新版改動應正確出現；已更正的舊說法不得以現行事實復現；相鄰未改內容仍應正常。另加版本未知或條件不足時應補問，以及合理歷史查詢仍可取得正確舊版。預期結果寫主張、條件與來源，不要求生成文字逐字相同，也不只測一個固定問法。
核對檢索片段與實際上下文，再看最終答案，避免答案偶然正確掩蓋舊資料仍被取用。Microsoft 的評估說明區分依據、相關與正確等面向，提醒我們不能只看文字是否流暢。更新前後保留同組題目、來源版與流程版，讓結果可以比較；回測不是每次重新挑較容易成功的問題。
分開新對話、舊對話與快取，留下可回復安排
先在新對話檢驗目前資料路徑，再依系統實際情況查舊對話是否仍帶過去內容，以及答案快取的鍵、有效條件與失效方式。不能因一個新對話正確，就預設既有使用者都不受影響。若需提醒重新查證或讓舊答案顯示日期，按產品設計處理，不把歷史聊天紀錄偷偷改寫成從未發生過。
新題答對只是其中一項證據，錯誤舊片段沒有再被當成現行來源也要查。出現高影響異常時，按既定安排縮小回答範圍或回到已驗證狀態，保留變更與回查紀錄。驗收單寫哪個範圍、哪個時間與哪些入口已確認，未完成部分明確交接，避免用「已同步」三個字掩蓋尚未驗證的環節。
| 題型 | 應看到什麼 | 不能漏的檢查 |
|---|---|---|
| 變更事實 | 新主張及條件生效 | 來源真是已發布新版 |
| 舊錯誤 | 不再作為現行事實回答 | 沒有殘留錯誤片段 |
| 未改內容 | 相關答案維持正常 | 未被過度刪除或篩掉 |
| 歷史與未知 | 舊版適用時可查，未知時補問 | 不一律刪歷史或猜版本 |
常見問題
文件重新上傳後，就算 RAG 更新完成嗎？
上傳只是起點。還需確認擷取、切段、索引發布、查詢指向與實際答案，並檢查停用片段及快取。各平台觸發與完成方式不同，以當前流程為準。用來源版、索引版與回測結果連成證據，才能說明哪些範圍已生效，不因介面顯示成功，就預設所有對話已取得正確的新資料。
更新後應該把所有舊資料刪掉嗎？
先區分更正錯誤、現行替換與仍需保留的歷史。錯誤片段不能再被當成現行事實，但正確舊產品資料可能仍需在指定條件下使用。來源保存、工作入口停用和實際刪除也不同。把狀態、權限及適用條件寫清楚，再驗證檢索結果，不能用全部刪除代替版本治理或法定保存安排。
新對話答對，舊對話還答錯，要怎麼查？
先核對兩次實際來源與上下文。舊對話可能帶入先前回答，系統也可能有不同快取或查詢指向，不能只憑畫面判斷。分開測新對話、既有對話與適用快取路徑，確認失效及重新查證安排。保留歷史記錄的事實，不把舊聊天偷偷改寫；必要時提醒重新取得目前依據並交接未解問題。
白話總結：換了菜單，也要核對點餐入口
追完資料更新路徑，用新事實、舊錯誤和未改內容回測，再分開確認對話與快取。
- 列變更：寫來源版、改動主張，以及舊內容該停用或保留的條件。
- 追發布：確認擷取、索引與查詢接線，留下各站完成證據。
- 做回測：檢查新舊及鄰近題，分開對話與快取，交接未完成處。
完成條件：新資料能被正確取用，舊錯誤不再當成現行事實，合理歷史仍有清楚用途與入口。
來源與方法範圍
資料查核：2026 年 10 月 24 日。來源支持文中對應的準則與平台說明；工作表、判斷步驟及已標示的假想情境由 AO2 整理，實際使用時依產品資料與現行設定核對。
