SEO：告诉 Google 哪些页面不要抓取
搜索引擎优化的典型目标是让您的网站页面显示在 Google 结果页面上以回答查询。该对象可供 Google 和其他所有搜索引擎抓取并索引您的所有产品详细信息页面、博客文章和文章以及任何其他可带来转化的内容。
但有些页面不应包含在搜索结果中。将它们从 Google 索引中删除实际上可能会增加搜索引擎访问更重要、转化效果更好的页面的流量。
不要索引这些您真的关心您的隐私政策、GDPR 披露或类似页面是否出现在 Google 上吗？您可能不希望 Google 编制索引的页面包括：
感谢页面（在调查或类似调查后显示）广告登陆页面（适用于按点击付费的广告系列）政策页面内部网站搜索结果（因为从 Google 的结果页面直接进入您网站的搜索结果页面可能不是良好的用户体验）。
将这些类型的页面从Google 索引中删除也可以提高网站的权威性，从而提高网站的各种页面在 Google 上针对相关查询的排名。
一些搜索引擎优化从业者认为，谷歌已经变得善于识别内容质量，并且正在寻找冗余、重复或相对低质量的页面。
此外，一些 SEO 专业人士建议 Google 对网站上所有页面的相对价值进行平均，以创建总权威度或价值分数。这可能是域权限、域排名或类似的指标。
如果你的公司在谷歌的索引中塞满了价值相对较低的页面——比如你的技术人员从电子商务平台提供商那里复制和粘贴的隐私政策——这可能会影响谷歌对你网站整体的权威程度。
例如，科罗拉多州丹佛市电子商务机构 Inflow 的 Chris Hickey 在撰写有关删除网站页面（在本例中为删除页面）的主题时报告称，自然搜索引擎流量增加了 22%，收入增加了 7%从客户的电子商务网站中剔除数千个重复页面后，从有机搜索流量中获得。
同样，2017 年 SEO 工具制造商Moz从 Google 索引中删除了其网站上 75% 的页面。这些页面主要是来自 Moz 社区的低价值会员资料。这些页面没有太多独特的内容，将它们从 Google 索引中删除导致自然搜索流量同比增长 13.7%。
拆卸工具也许从 Google 索引中删除单个页面的最佳工具是 robotsnoindex元标记。
<meta name="robots" content="noindex" />
这个简单的标记插入页面 HTML 标记的<head>部分，要求所有搜索引擎不要索引关联页面。Google 的主要网络爬虫 Googlebot 遵循此指令，并会在下次抓取任何标有noindex 的页面时删除该页面。
使用您网站的内容管理系统，可以相对轻松地将此标签添加到政策页面、内部搜索结果以及其他不需要包含在 Google 索引中或响应 Google 查询而显示的页面。
HTTP 响应头robotsnoindex指令也可以在 HTTP 响应标头中传递。将 HTTP 响应标头视为服务器在请求页面时发送到网络浏览器或网络爬虫（例如 Googlebot）的文本消息。
在此标头中，您的网站可以告诉 Google 不要为该页面建立索引。这是一个例子。
HTTP/1.1 200 好X-Robots-标签：noindex
对于某些企业来说，编写放置此X-Robots-Tag 的脚本可能比手动甚至以编程方式添加机器人元标记更容易。这个HTTP标签和meta标签具有相同的效果。您的企业使用哪一种方法取决于您的偏好。
阻止索引？Robots.txt 不会阻止索引。robots.txt 文件位于网站的根目录中。这个简单的文本文件告诉搜索引擎网络爬虫它可以访问网站上的哪些页面。
通常，网站所有者和管理员错误地认为禁止 robots.txt 文件中的某个页面将阻止该页面显示在 Google 索引中。但情况并非总是如此。
例如，如果另一个网站链接到您公司网站上的某个页面，则 Googlebot 可以跟踪该链接并将该页面编入索引，即使 robots.txt 文件中不允许该页面。
如果您想从 Google 索引中删除页面，robots.txt 文件可能不是最佳选择。相反，它有助于限制 Google 对您的网站进行索引的方式，并防止搜索引擎机器人淹没您公司的网络服务器。
值得一提的是，您不应禁止 robots.txt 文件中的页面并同时使用 noindex 标记。这样做可能会导致 Googlebot 错过 noindex 指令。
最终，这可能听起来违反直觉，但几乎可以肯定，贵公司网站上的某些页面不应包含在 Google 索引中或显示在 Google结果页面上。删除这些页面的最佳方法是使用 robotsnoindex标记。
文章翻译自：Practical Ecommerce ;原文链接：https://pec-ly.com/?IBD
转载请注明： SEO：告诉 Google 哪些页面不要抓取 | 跨境湾
