noindex与robots.txt的区别:禁止索引与禁止抓取
本文目录
编者说明
本文译自AIOSEO,译文保留在下方。使用时注意以下几点:
- 禁止抓取不等于禁止索引:robots.txt中的Disallow用于限制遵守该规则的爬虫抓取页面,不能可靠地阻止网址出现在搜索结果中。
- noindex需要被爬虫读取:如果使用noindex排除页面,就不要同时在robots.txt中禁止抓取该页面,否则爬虫可能无法看到这条指令。
- 示例代码需要使用英文半角引号:下方旧译文示例中的弯引号不适合直接复制使用,正确写法见下方。
- 不同搜索引擎支持情况可能不同:以下补充说明依据Google官方文档,不应直接推定所有搜索引擎都按相同方式处理。
在HTML页面的<head>中设置:
<meta name="robots" content="noindex">
也可以通过HTTP响应头设置,适用于PDF等不便添加HTML元标签的资源:
X-Robots-Tag: noindex
不要将上述meta标签直接粘贴到WordPress文章正文中;应通过SEO插件或站点模板将其输出到页面头部。noindex也不是访问权限控制,私密内容应使用登录验证或其他访问限制。
官方参考:Google:使用noindex阻止索引、Google:robots.txt简介。
NOINDEX 标记
NOINDEX 用于防止内容出现在搜索结果中。NOINDEX 出现在内容的源代码中,它告诉搜索引擎不要将该内容包含在搜索结果中。
NOINDEX 在您的页面源代码中如下所示:
<meta name=”robots” content=”noindex,follow” />
robots.txt 文件
robots.txt 文件告诉搜索引擎他们的爬虫能在网站上访问的位置。它包括“允许”和“禁止”指令,指导搜索引擎应该或不应该抓取哪些目录和文件。
但是,它不会阻止您的内容出现在搜索结果中。
使用 robots.txt 文件的一个示例是指示搜索引擎不要抓取服务器上可能存在的“/cgi-bin/”目录,因为该目录中没有任何内容可供搜索引擎使用.
WordPress 的默认 robots.txt 如下所示:
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
两者的区别
robots.txt 文件用于指导搜索引擎应该抓取哪些目录和文件。它不会阻止内容被索引并在搜索结果中列出。
NOINDEX 标记告诉搜索引擎不要在搜索结果中包含内容,如果内容之前已经被索引,那么他们应该完全删除内容。它不会阻止搜索引擎抓取内容。
要理解的最大区别是,如果您希望搜索引擎在搜索结果中不包含内容,那么您必须使用 NOINDEX 标记,并且必须允许搜索引擎抓取内容。如果搜索引擎无法抓取内容,则他们无法看到NOINDEX元标记,因此无法从搜索结果中排除内容。
因此,如果您希望内容不包含在搜索结果中,请使用 NOINDEX。如果您想阻止搜索引擎抓取您服务器上的目录,因为它不包含他们需要查看的任何内容,请在您的 robots.txt 文件中使用“Disallow”指令。
原文链接
此文翻译自aioseo:When to use NOINDEX or the robots.txt?

