這是 8 天前的公告:Google、Microsoft 與 OpenAI 在 2026 年 10 月 30 日(週五)分別發文,表示將支援一個共用的 robots.txt 設定,讓網站用一組規則對多家 AI 業者表達「不要拿我的內容訓練模型」。設定出自 Anthropic 的 Kevin Kelley 同日向 IETF 提交的個人草案,寫法是 User-Agent: __usage_ai-training。重點是三家都還沒生效,時程與解讀也不同。
廠商說 vs 實際可用
廠商說:Microsoft 在 Bing 部落格寫,新偏好設定 2027 年 2 月 1 日起隨爬取逐步生效;Google 只說目標是 2027 年與其他業者一起支援;OpenAI 說未來幾個月內實作,屆時再公布細節。Kelley 在 IETF 郵件列表表示 Anthropic 已開始實作,但擴及各服務需要時間。
實際可用:依三家 10 月 30 日的公告,沒有一家已經開始依這個設定處理內容。IETF 頁面註明這份個人草案未經 IETF 背書、沒有正式標準地位,2027 年 5 月 3 日到期。
三家怎麼解讀,差在哪
Google:網站用這個 token 拒絕訓練、又沒另外寫 Google-Extended 規則時,Google 計畫把它視同封鎖 Google-Extended。問題在於,依 Google 的爬蟲文件,Google-Extended 同時管 Gemini 模型訓練與 Gemini Apps 的 grounding;部落格也寫,明確允許 Google-Extended 的網站有資格透過 grounding 出現在 Gemini Apps 回答並獲得點擊。也就是說,用共用設定全站拒絕,可能連 Gemini Apps 的引用一起拒掉;這不影響 Google 搜尋收錄。
Microsoft:把「訓練」和「grounding(生成回答時引用網頁內容)」拆開。訓練可在 robots.txt 或單頁設定;grounding 只能逐頁用 meta 標籤或 HTTP 標頭設定。過去用 NoArchive、NoCache 限制 AI 使用的網站,要在 2027 年 3 月 1 日前改用新設定,之後舊標籤不再被當成訓練或 grounding 的偏好;要保留 grounding 限制,還得到 Bing Webmaster Tools 登記過渡設定,該功能 2026 年 12 月 15 日開放,只限當天仍使用舊標籤的網站。
OpenAI:新訊號不取代既有的爬蟲控制,原本針對 OpenAI 爬蟲寫的規則照樣有效。
規格與價格
規格與價格:免費,只是在 robots.txt 加兩行文字;公告沒有提到地區限制,台灣站方照樣可以寫,不涉及付款。第一,草案規定 User-Agent: * 不會匹配這個 token,所以現有 robots.txt 在這套機制下等於沒表態。第二,它管的是內容用途,不管爬取;擋爬蟲仍要寫各家爬蟲名稱。動手前,先確認你的架站平台或代管方案是否允許自訂 robots.txt。
不適合誰
我不會推薦全站一鍵拒絕的情況:靠 Gemini 回答帶來詢問的接案者與創作者,在 Google 的解讀下,可能換來在 Gemini Apps 回答裡消失;Copilot 這邊微軟把訓練和 grounding 分開,拒訓練不等於拒引用。已經對個別爬蟲寫好規則的人也不必急,Google 與 OpenAI 都說既有控制繼續有效,而且現在還沒有一家生效。替客戶維護網站的工程師,真正有期限的是 Microsoft:客戶站若用 NoArchive 或 NoCache,2027 年 3 月 1 日前要改。
一句話結論:先盤點客戶站有沒有用 NoArchive、NoCache;這行共用設定,等各家真正生效、想清楚要不要被 AI 引用再加。