转换 · 本机处理

robots 与 sitemap

按你填的主机和路径，生成 robots.txt 和 sitemap.xml。

  1. 选文件或粘贴内容
  2. 看预览
  3. 下载结果
1User-agent: *
2Disallow: /admin/
3Disallow: /drafts/
4Allow: /
6Sitemap: https://example.com/sitemap.xml

robots.txt 指南

管理网络爬虫和站点地图。改左侧立刻出文件，本页不代发。

Disallow 指令用来指定禁止爬取的目录或页面。

  • Disallow: /admin/ — 不让爬 /admin/
  • Disallow: /drafts/ — 不让爬 /drafts/

生成后放到你自己的源站根目录。本站不访问这些 URL。

Sitemap 3 条 · 主机 https://example.com
广告 728×90 · 移动 320×50
怎么用、会得到什么、限制

能做什么

按你填的主机和路径，生成 robots.txt 和 sitemap.xml。

怎么用

填主机名和一行一条路径，再下载两个文件，自己放到网站根目录。

你会得到什么

得到两份文本。不会替你提交给搜索引擎，也不检查这些网址是否能打开。

参数和对比

Allow/Disallow、Sitemap 声明、一行一条路径。缺 host 或 Disallow: / 会提示。

地图是清单不是排名。和元信息检查页分开：本页生成文件，那页读你已有的 head。

限制

不检查 200，不填真实 lastmod。生成后要自己放到源站。

常见问题

会替我提交给 Google 吗？

不会。文件要你自己放到网站根目录。

Disallow: / 会怎样？

会挡住整站爬取。生成前请看预览。