AI 爬蟲爬得到你的網站嗎？3 個技術檢查（2026）

AI 引用你的前提，是爬得到你、讀得懂你。本章給 3 個今天就能做完的技術檢查：robots.txt 沒擋 AI 爬蟲、內容不依賴 JavaScript、更新日期機器可讀而且誠實。

檢查 1：robots.txt 有沒有擋掉 AI 爬蟲？

先確認 robots.txt 沒有封鎖主要 AI 爬蟲：GPTBot、OAI-SearchBot（OpenAI）、PerplexityBot、ClaudeBot（Anthropic）、Google-Extended——擋掉它們，內容再好也進不了對應引擎的答案。

檢查方法：打開 你的網域/robots.txt，逐一搜尋上述 User-agent 有沒有被 Disallow。要特別注意全站封鎖（Disallow: /）與不小心繼承來的規則——很多網站的封鎖不是決策，是主機商模板或資安外掛的預設值。本站的 robots.txt 對這些爬蟲全數放行，可以直接參考。

檢查 2：AI 爬蟲讀得到 JavaScript 算繪的內容嗎？

大多讀不到，關鍵內容必須直接存在於 HTML 原始碼。Vercel 2024 年 12 月的爬蟲流量分析顯示，GPTBot 單月在其網路發出約 5.69 億次請求、ClaudeBot 約 3.7 億次——規模已經很大，但這些主要 AI 爬蟲都不執行 JavaScript。

檢查方法：對你的頁面按「檢視原始碼」（不是開發者工具的元素面板），搜尋你最重要的那段結論文字。找得到，AI 爬蟲就讀得到；找不到，表示那段內容是 JavaScript 事後長出來的，對多數 AI 爬蟲等於不存在。單頁應用（SPA）與部分頁面編輯器最容易踩這個坑，解法是伺服器端算繪（SSR）或預先靜態輸出。

資料來源：Vercel（2024）：The rise of the AI crawler

檢查 3：更新日期機器可讀嗎？改日期算優化嗎？

dateModified 要寫進結構化資料讓機器讀得到；但只有內容真的更新時才改日期——目前的證據把內容鮮度定位為「加速器候選，不是門檻」，造假換日期是拿信任去賭。

務實做法：把 dateModified 綁在建置或編輯流程上，內容有實質變動才更新；同時在頁面上讓讀者也看得到最後更新時間。「日期很新、內容沒變」的頁面引擎並不買單，反而可能傷及既有的信任訊號。

技術檢查都過了，就會被引用嗎？

不會保證。這些是與被引用頁同構的設計原則，不是因果保證——技術層解決的是「進得了場」，能不能被寫進答案，仍取決於段落自足與首句結論這些內容層訊號。

順序建議：先過技術三關（成本最低、一次做完），再回頭處理內容層——順序反過來，你可能是在改寫一批 AI 根本讀不到的頁面。