AO2 FIELD GUIDE · N006 · SEO 與網站搜尋
robots.txt 與 noindex 分別處理抓取與搜尋索引，兩者都不能代替文件權限。用下載入口、PDF 與私有附件示例，整理控制選擇表、衝突排查與驗收步驟，避免擋住爬蟲後又期待它讀到 noindex。
型錄頁不想出現在搜尋，附件又需要讓客戶閱讀，應該勾哪個設定？先把三個問題拆開：誰能拿到資料、搜尋爬蟲能不能抓取、網址要不要進入搜尋結果。混成一個「不公開」開關，很容易選錯方法。
robots.txt 與 noindex，先回答你要控制哪一件事
抓取是爬蟲向網站取得資料，索引是搜尋系統整理內容並決定是否提供搜尋結果，存取則是伺服器判斷使用者是否有權取得資源。三者不是同一個狀態。公開型錄可以允許抓取，也可以依用途安排索引；內部報價文件則需要真正的存取控制，不能只藏起入口。
Google 的說明將 robots.txt 用於管理爬蟲抓取，noindex 則用於阻止支援此規則的搜尋引擎索引內容。不希望被搜尋找到，與不允許別人取得，是兩種不同要求。先由文件負責人定義公開範圍，網站人員再選擇方法，不用外掛的勾選名稱反過來決定資訊用途。
白話例子：別來領傳單、不登目錄與鎖門
假想企業有公開型錄、供客戶閱讀的說明附件，以及只限專案成員的文件。robots.txt 像告訴遵守規則的送件員「不要進這個走道」；noindex 像附在文件上的「請勿列入搜尋目錄」；登入與授權檢查才像確認身分後開門。把傳單放在沒人指路的地方，也不代表門已上鎖。
走道對應網址路徑，目錄對應搜尋索引，門鎖對應實際存取規則。這只是幫助分工的比喻：爬蟲不一定都遵守同一規則，搜尋移除也需要處理時間。不能因為今天搜不到，就認定文件有保護；同樣不能把允許抓取理解成保證會收錄。
HTML 入口與 PDF 附件，要分別決定
下載頁上的 noindex 不會自動替它連出去的 PDF 設定相同規則。HTML 頁可用適當的 robots meta；非 HTML 資源如 PDF，可由網站維護者安排 X-Robots-Tag 回應標頭。應逐一記錄頁面網址與實際檔案網址，不只看媒體庫的附件介紹頁，因為訪客可能直接開啟檔案。
假想安排是：產品總覽提供公開選型資料；某份僅供直接分享的附件不列入搜尋；內部文件另有授權檢查。這些不是所有型錄都適用的預設。若 PDF 本來就是重要公開說明，就不應為了讓報表的網址數變少而排除。檔案更新或 CDN 改動後，也要回查實際回應是否仍符合預期。
| 目的 | 可評估的方法 | 仍不能推論 |
|---|---|---|
| 管理爬蟲抓取 | robots.txt 規則 | 不是檔案保密措施 |
| 不列入支援規則的搜尋索引 | 可被讀取的 noindex | 不是即時刪除或權限控管 |
| 限制誰能讀文件 | 登入、授權及資源端檢查 | 不能只保護下載入口 |
| 保留公開型錄入口 | 可到達的內容與一致設定 | 不代表一定被搜尋收錄 |
想讓 noindex 生效，不能先讓它讀不到
Google 必須能抓到資源，才有機會讀取 noindex。若 robots.txt 已封鎖該網址，爬蟲可能無法看見頁面或回應中的規則；網址仍可能因其他來源被得知。不要把 Disallow 與 noindex 疊在一起，就當成更徹底的搜尋移除方案，也不要把 noindex 寫進 robots.txt 當作 Google 支援的指令。
排查時依序核對：目標是否為最終網址、是否需登入、是否被抓取規則擋住、實際 meta 或標頭有無 noindex，以及搜尋工具上次讀到什麼。瀏覽器目前看到的輸出與 Google 上次抓取的資料可能不同。已公開的敏感資料應先依企業事件流程處理存取與暴露範圍，不能只等待搜尋結果消失。
用代表網址驗收，保留變更理由與觀察時間
選一個公開產品頁、一個下載入口與一份附件，記錄預期用途、目前抓取規則、meta／標頭、內部連結和 Sitemap 狀態。維護者以適當工具檢查最終回應；有 Search Console 權限時，再核對網址檢查中的抓取與索引資訊。本文的檢查表是方法，不代表已替你的每份檔案完成設定。
驗收要看實際網址輸出，不能只看後台已經打勾。保存改動前後的設定、操作者、時間與代表樣本。若規則由伺服器、SEO 外掛與 CDN 分別提供，先指定協調責任人，避免一邊開放、一邊仍回傳排除指令。搜尋觀察另記日期，不承諾設定後立即更新。
| 項目 | 要記錄的證據 | 常見遺漏 |
|---|---|---|
| 目標資源 | 最終頁面與附件網址 | 只查附件介紹頁 |
| 公開範圍 | 負責人核准的用途 | 用搜尋不到代替保密 |
| 實際輸出 | robots、meta 或標頭結果 | 多層設定互相衝突 |
| 後續觀察 | 工具、日期與抓取時間 | 把歷史狀態當即時結果 |
設定之外，還要確認實際取得哪份內容
公開用途、抓取規則及索引控制定好後，若服務仍回報無法取得，先保存時間、完整網址與錯誤，再查請求是否到達 CDN、防護或來源站。自己的登入瀏覽器可讀，不代表未登入請求取得相同內容。
不要因一次未被引用就關閉防護，也不只看請求自稱的名稱。由維護者核對官方身分方法、命中層與實際回應，只有確認缺口才評估最小必要修正。取得正確公開內容後，外部引用仍需另觀察。
常見問題
把 PDF 連結移掉，就不會被別人找到嗎？
不能這樣推論。網址可能已被分享、收藏、引用或索引，移除目前入口不會撤回所有副本。先判斷文件是否允許公開；若需限制閱讀，應由維護者在資源端安排存取控制。若只是調整搜尋呈現，再核對適用的索引規則與後續抓取狀態，不用隱藏連結代替權限驗收。
下載頁 noindex，PDF 也會跟著排除嗎？
不會自動成立，下載入口與檔案是不同資源。分別檢查兩個最終網址，HTML 可有 meta，PDF 則需核對實際回應標頭等適當方式。也要確認爬蟲能讀到欲使用的規則。維護清單保存每份資源的用途與設定，不能只因入口頁顯示排除，就宣稱附件已同樣處理。
robots.txt 與 noindex 可以一起使用嗎？
是否一起出現要看目標，不是越多越有效。對希望 Google 讀取 noindex 的資源，不能用 robots.txt 先擋住它的抓取。先畫出目標網址、目前控制與預期結果，再由維護者消除衝突；需要處理大量暫時網址時另訂檢索策略，不將同一組設定套用到全部產品、文件與私有內容。
白話總結：先問要關的是哪一道門
先把資料能否取得、爬蟲能否讀取、搜尋是否列出分清楚，再討論設定。
- 定用途：逐一列出公開頁、分享附件與受限文件。
- 選控制：依資源種類安排權限、抓取及索引規則，消除互相擋住的設定。
- 驗輸出：檢查最終頁面與檔案，保存證據及後續抓取觀察。
完成條件：每個代表網址的用途、控制與實際輸出一致，沒有把搜尋排除誤當成檔案保密。
來源與方法範圍
資料查核：2026 年 10 月 24 日。來源支持文中對應的準則與平台說明；工作表、判斷步驟及已標示的假想情境由 AO2 整理，實際使用時依產品資料與現行設定核對。
