这篇文章的目的是教授如何解释 robots.txt 文件的一般原则，而不是解释使用它们的最佳实践。对于后者的更多内容，我推荐以下帖子： （专业提示 – 尽管我上面的示例排除了“秘密”文件和文件夹，但不要依赖 robots.txt） 详细了解为什么您可能希望阻止机器人进入网站的某些区域。
避免意外地以不同方
式给出相互冲突的指令来阻止机器人。 阅读一些“不该做的事”（旧的但仍然相关）：滥用 robots.txt，意外阻止链接汁 我希望无论您是初学者还是 兄弟手机清单 专业人士，您都可以在这些练习中找到有用的东西。我期待在评论中听到您的反馈。 我是波特兰开拓者队的忠实粉丝，2000 年代初我最喜欢的球员是拉希德·华莱士 (Rasheed Wallace)。
他是一名球员的避雷针
球迷要么爱他，要么恨他。在开拓者队期间，他几乎每一年的技术犯规数都是联盟第一。主要是因为他从来不认为自己做错了什么。许多技术问题都是在对方球员罚球不中时出现的，“谢德”兴奋地高喊着他的口头禅：“球不会说谎。” “棚屋”断言篮球具有形而上的力量，可以作为比赛完整性的制衡系统。
虽然这是有争议的（好吧，也许不是真的），但与技术 SEO 有相似之处：营销人员和开发人员在构建网站或创建内容时经常犯 SEO 错误，但断 顾问史蒂夫班农入狱四个月 然否认有任何问题。 作为 SEO，我们使用各种工具来深入了解可能伤害我们的技术问题：网络分析、抓取诊断以及 Google 和 Bing 网站管理员工具。
所有这些工具都
很有用，但数据中无疑存在漏洞。关于 Googlebot 等搜索引擎如何处理您的网站，只有一份真实记录。这些是网络服务器日志。我确信拉 消費者數據 希德·华莱士（Rasheed Wallace）会同意，日志是经常未被利用的数据的强大来源，有助于保持搜索引擎抓取网站的完整性。
服务器日志是特定服务器执行的每个操作的详细记录。就网络服务器而言，您可以找到很多有用的信息。事实上，早在免费分析（如 Google Analytics）出现之前，使用 AWStats 等软件解析和审查网络日志是常见的做法。 我最初打算就这个主题写一篇文章，但随着我的进展，我意识到有很多内容需要讨论。
相反，我会将其分
为两部分，每一部分都突出显示可以在 Web 服务器日志中找到的不同问题： 这篇文章：如何检索和分析日志文件，并根据服务器的响应代码（404、302、500 等）识别问题。 下一篇文章：识别重复内容，鼓励有效的爬行，评估趋势，寻找模式和一些额外的非 SEO 技巧。