轉換 · 本機處理

robots 與 sitemap

按你填的主機和路徑，生成 robots.txt 和 sitemap.xml。

  1. 選檔案或貼上內容
  2. 看預覽
  3. 下載結果
1User-agent: *
2Disallow: /admin/
3Disallow: /drafts/
4Allow: /
6Sitemap: https://example.com/sitemap.xml

robots.txt 指南

管理网络爬虫和站点地图。改左侧立刻出文件，本页不代发。

Disallow 指令用来指定禁止爬取的目录或页面。

  • Disallow: /admin/ — 不让爬 /admin/
  • Disallow: /drafts/ — 不让爬 /drafts/

生成后放到你自己的源站根目录。本站不访问这些 URL。

Sitemap 3 条 · 主机 https://example.com
廣告 728×90 · 移動 320×50
怎麼用、會得到什麼、限制

能做什麼

按你填的主機和路徑，生成 robots.txt 和 sitemap.xml。

怎麼用

填主機名和一行一條路徑，再下載兩個文件，自己放到網站根目錄。

你會得到什麼

得到兩份文本。不會替你提交給搜索引擎，也不檢查這些網址是否能打開。

參數和對比

Allow/Disallow、Sitemap 聲明、一行一條路徑。缺 host 或 Disallow: / 會提示。

地圖是清單不是排名。和元信息檢查頁分開：本頁生成文件，那頁讀你已有的 head。

限制

不檢查 200，不填真實 lastmod。生成後要自己放到源站。

常見問題

會替我提交給 Google 嗎？

不會。文件要你自己放到網站根目錄。

Disallow: / 會怎樣？

會擋住整站爬取。生成前請看預覽。