robots.txt 文件负责向搜索引擎提供如何抓取您网站的指令。该文件需要位于网站根目录中。网址为 。继续阅读“SEO 中的 robot.txt 文件是什么”。
该文件包含一组“允许”和“禁止”指令，用于告知搜索引擎哪些网站部分可以抓取，哪些部分不能抓取。可以向所有机器人发出通用指令，也可以使用用户代理指令针对特定机器人发出指令，从而阻止特定机器人访问网站的某个部分。
最后，可以（并且建议）在 robots.txt 的末尾添加站点地图声明，告诉搜索引擎可以找到XML 站点地图的URL 。首先了解什么是 robots.txt。
用户代理
用户代理是搜索引擎机器人在访问网站时识别自 瑞士 whatsapp 号码数据库 身身份的方式。通过在 robots.txt 文件中放置用户代理指令，您可以告知不同的机器人哪些页面可以访问，哪些页面不能访问。例如，您可以使用 Google-bot 用户代理阻止 Google 访问您网站的某些部分。
需要注意的是，如果您在 robots.txt 文件 2017 年国际理论物理中心会议 中指定了不同的用户代理，这些用户代理将忽略文件中的其他指令，只执行直接发送给它们的指令。您需要了解如何检查 robots.txt 文件。
允许和禁止
您必须通过允许和禁止指令来向机器人表明它们是否可以访问网络的某个部分，其中后者是最常见的。
disallow 指令恰好用于告知搜索引擎，它们无法访问网站的相应部分。这就是 SEO 中的 robot txt 文件的作用。因此，一旦将 disallow 指令添加到文件中，指定的用户代理就会停止抓取该网页部分。
通过阻止搜索引擎访问网站的某些部分，您可以 共同财产和婚姻财产的出售 防止它们浪费时间和资源抓取对我们没有价值的部分，例如购物车、登录或用户帐户页面或私人部分。
XML Sitemap 声明
所有机器人都会通过访问 robots.txt 文件来开始抓取，以找出允许访问网站上的哪些页面。因此，建议在文件末尾添加 XML 站点地图声明，以告知机器人您的站点地图位于何处。
如果您的网站有多个站点地图，您可以指定每个站点地图的位置。但是，如果您有站点地图索引，建议您将 URL 添加到索引中。无论如何，声明站点地图都不是强制性的。