NOINDEX 与 robots.txt的区别

2022-08-28 125点热度 0人点赞 0条评论

NOINDEX 标记

 

NOINDEX 用于防止内容出现在搜索结果中。NOINDEX 出现在内容的源代码中,它告诉搜索引擎不要将该内容包含在搜索结果中。

NOINDEX 在您的页面源代码中如下所示:

<meta name="robots" content="noindex,follow" />

 

robots.txt 文件

 

robots.txt 文件告诉搜索引擎他们的爬虫能在网站上访问的位置。它包括“允许”和“禁止”指令,指导搜索引擎应该或不应该抓取哪些目录和文件。

但是,它不会阻止您的内容出现在搜索结果中。

使用 robots.txt 文件的一个示例是指示搜索引擎不要抓取服务器上可能存在的“/cgi-bin/”目录,因为该目录中没有任何内容可供搜索引擎使用.

WordPress 的默认 robots.txt 如下所示:

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

 

两者的区别如下:

 

robots.txt 文件用于指导搜索引擎应该抓取哪些目录和文件。它不会阻止内容被索引并在搜索结果中列出。
NOINDEX 标记告诉搜索引擎不要在搜索结果中包含内容,如果内容之前已经被索引,那么他们应该完全删除内容。它不会阻止搜索引擎抓取内容。
要理解的最大区别是,如果您希望搜索引擎在搜索结果中不包含内容,那么您必须使用 NOINDEX 标记,并且必须允许搜索引擎抓取内容。如果搜索引擎无法抓取内容,则他们无法看到NOINDEX元标记,因此无法从搜索结果中排除内容。

因此,如果您希望内容不包含在搜索结果中,请使用 NOINDEX。如果您想阻止搜索引擎抓取您服务器上的目录,因为它不包含他们需要查看的任何内容,请在您的 robots.txt 文件中使用“Disallow”指令。

此文翻译自aioseo,原文链接:https://aioseo.com/docs/when-to-use-noindex-or-the-robots-txt/

sec314

如需联系,点击网页下方邮件。