Robots Meta Tag

Robot Meta Tag 用于向网络爬虫提供指令。 它通过在 HTML 文件的头部包含一个 meta 标签来实现页面级的控制。 它是在 1996 年的 W3C 工作坊上提出的，其使用在 1999 年 12 月的 HTML 4.01 附录 B 中进行了描述。

Robots meta tag 在页面优化中起着重要作用，因为它告诉搜索引擎如何处理页面的内容。

为什么 robots meta tags 对 SEO 很重要？

这些标签主要用于防止页面出现在搜索引擎结果页面中，尽管它也可以用于其他各种目的。 您可能不希望搜索引擎索引许多类型的内容，以提高您网站的 SEO。 例如：

• 信息很少或没有信息的单薄页面
• 管理和感谢页面
• PPC 登陆页面
• 与产品发布、即将发生的事件和促销等相关的页面。
• 如果您不使用 canonical 标签来建议用于索引的主要版本，则重复内容。

基本语法： 它具有非常简单的基本语法。

所以，一个 robot Meta tag 包含两个属性：name 和 content。 您必须为每个属性指定值。

在语法中，您可以将不同的值作为占位符，因为我们已将“要遵循的指令”写为占位符。 不同的值可以是 index、noindex、follow、nofollow、all 或 none-thing。

Robot meta tags 的实现和含义

此标签表示“不要索引此页面，也不要跟踪此页面上的链接”。 它用于指示网络爬虫不要索引页面，也不要跟踪到其他页面的链接”。 因此，您的页面将从搜索索引中删除，并且您页面的其余部分将不会被抓取。 当站点处于开发模式时，并且开发人员不希望爬虫拾取页面进行索引时，通常使用此标记。

此标签表示“索引此页面，但不要跟踪此页面上的链接”。 它指示爬虫索引给定的页面，而不跟踪到其他页面的链接。 因此，您的页面将包含在搜索索引中，但不会创建到其他页面的链接路径。

此标签表示“不要索引此页面，但跟踪此页面上的链接”。 因此，爬虫不会索引给定的页面，但会跟踪到其他页面的链接，即，您的页面将不包含在搜索索引中，但会建立到其他页面的链接路径。

此标签表示“索引此页面并跟踪此页面上的链接”。 因此，爬虫将索引给定的页面，并跟踪到其他页面的链接，即，您的页面将包含在搜索索引中，并建立到其他页面的链接路径。