# === 一般搜尋引擎 + AI 爬蟲共用同一組規則(2026-09-30,修改日誌 #60)=== # 規範(RFC 9309):爬蟲只遵守「名字最相符的那一組」。以前 AI 爬蟲各自一組 # 只寫 Allow: /,等於不受下面的 /admin/、參數頁封鎖限制。 # 現在全部列在同一組:AI 搜尋/引用/訓練都允許,但一樣不進後台與參數頁。 User-agent: * # OpenAI:搜尋 / 使用者即時讀取 / 訓練 User-agent: OAI-SearchBot User-agent: ChatGPT-User User-agent: GPTBot # Anthropic:搜尋 / 使用者即時讀取 / 訓練 User-agent: Claude-SearchBot User-agent: Claude-User User-agent: ClaudeBot # Perplexity User-agent: PerplexityBot User-agent: Perplexity-User # Google Gemini 訓練/引用(不影響一般 Google 搜尋) User-agent: Google-Extended # === 後台與系統目錄(維持封鎖)=== Disallow: /admin/ Disallow: /system/ Disallow: /writable/ Disallow: /user_guide/ # === 參數型 thin content(維持封鎖,避免浪費抓取預算)=== # 商品詢問連結 Disallow: /contact? # 站內搜尋結果 Disallow: /*?q= # 材質/袋型篩選與分頁參數(canonical 都指向分類頁) Disallow: /products?m= Disallow: /products?t= Disallow: /products?page= Disallow: /products/*?m= Disallow: /products/*?t= Disallow: /products/*?page= Disallow: /products/*?category= # 新聞分類/搜尋 Disallow: /news?category= Disallow: /news?q= # === 【已移除】Disallow: /index.php/ === # 原因:.htaccess 已對所有 /index.php/ 舊網址設定 301 轉址, # 但 robots 封鎖會讓 Googlebot「看不到」這些 301,導致 662 個 index.php # 網址永遠卡在「遭 robots.txt 封鎖」狀態、無法被消化。 # 解除封鎖後,Google 才能抓到 → 跟著 301 → 收斂到乾淨網址 → 自然退出索引。 Sitemap: https://www.giftbag.com.tw/sitemap.xml