搜索引擎排名优化的关键（网站robots文件怎么优化）

错误的robots文件设置对SEO的影响

对于一个新站来说，搜索引擎爬虫来抓你的网站，他们就跟大爷一样，要好吃好喝的供着，你不能让别人自己端茶倒水，把别人累个半死，你说这样他回去会跟他主子（搜索引擎）说什么好话么？

那怎么让他们吃好喝好呢？其实也简单，就是让他们少做点，我们多做点，对于一个网站，那就是把目录结构尽量扁平话，但是要掌握好一个度，凡事过了就物极必反，蜘蛛来你网站，你肯定要想办法第一时间把最好的文章，最想排名的关键词让它带走，对于站长来说唯一能和蜘蛛交流的办法，就是robots.txt文件了，不知道这个东西？那可以看看这篇文章先《robots.txt文件介绍》

搜索引擎无用的网页

因为SEO小也这个站是使用WordPress搭建的，WordPress默认使用的是一个虚拟的robots.txt文件，内容比较简单，没有屏蔽feed页面，这个页面对搜索引擎来说没什么作用，谷歌也基本不收录

所以把这些文件排除，让搜索引擎蜘蛛只抓取那些对于他们有用的文件，因为蜘蛛来抓取一个网站是有时间限制的，如果把宝贵的时间花在这些没用的内容上，对网站优化来说就太浪费了。

错误的robots.txt规则

因为图省事，我就去网上找了一段robots.txt适用于WordPress的规则，当时也没多想，只直接写入到文件里面，但是没过两天，Google Search Console既然有错误提示？

说我移动设备兼容有问题？不可能啊，我前一段时间刚花了一天时间做了响应式布局的？难道我老了不中用了？响应式写错了？带着这么多疑问，我看了错误提示：

Googlebot blocked by robots.txt

原来我上次的骚操作，把wp-content内部的资源文件屏蔽了，下面是我修改以后完整的robots.txt文件内容，可以作为参考：

User-agent: *Disallow: /wp-admin/Disallow: /wp-content/Disallow: /wp-includes/Disallow: /*/comment-page-*Disallow: /*?replytocom=*Disallow: /category/*/page/Disallow: /tag/*/page/Disallow: /*/trackbackDisallow: /feedDisallow: /*/feedDisallow: /comments/feedDisallow: /?s=*Disallow: /*/?s=*\Disallow: /attachment/Allow:/wp-content/uploads/Allow:/wp-content/themes/seozen2021/Allow:/wp-content/plugins/Sitemap:https://www.seozen.top/sitemap.xml

上面这些规则简单的介绍下：

1、Disallow: /wp-admin/、Disallow: /wp-content/和Disallow: /wp-includes/

用于告诉搜索引擎不要抓取后台程序文件页面。

2、Disallow: /*/comment-page-*和Disallow: /*?replytocom=*

禁止搜索引擎抓取评论分页等相关链接。

3、Disallow: /category/*/page/和Disallow: /tag/*/page/

禁止搜索引擎抓取收录分类和标签的分页。

4、Disallow: /*/trackback

禁止搜索引擎抓取收录trackback等垃圾信息

5、Disallow: /feed、Disallow: /*/feed和Disallow: /comments/feed

禁止搜索引擎抓取收录feed链接，feed只用于订阅本站，与搜索引擎无关。

6、Disallow: /?s=*和Disallow: /*/?s=*\

禁止搜索引擎抓取站内搜索结果

7、Disallow: /attachment/

禁止搜索引擎抓取附件页面，比如毫无意义的图片附件页面。

8、Allow: /wp-content/uploads/

允许搜索引擎抓取资源文件，这个很重要，可以用来判断移动设备兼容性

因为这个操作，导致谷歌对SEO小也的收录不升还降了一点，我重新配置了robots.txt文件，观察一下过几天的情况再看看。

导致搜索排名和访问量下降的16个SEO问题

网站的搜索排名和访问量可能下降的原因有很多，从技术性现场问题到场外SEO。使用此检查表进行诊断。有时，导致您的搜索排名和流量下降的因素可能难以检测。

仅举几个例子，可能是搜索算法的更改，技术错误，您的服务器无法正确处理带宽，或者在突然不再发送流量之前发送流量的链接。

如果您想诊断排名或流量下降的原因，则可能已经阅读了《如何分析网站排名下滑的原因？》，内容涉及可能影响您网站的常见问题（如果不是，那是个不错的起点）。

在本文中，我们将扩展主题，并进一步探讨您可能遇到这些问题的原因。

可能导致排名下降的现场问题

1.您已经很长时间没有更新网站了

尽管这在很大程度上取决于您的细分市场，但是定期更新网站对于保持竞争力至关重要。一个竞争对手的分析，就会发现，你可能需要做什么才能跟上你的行业内的其他网站。

但是，总的来说，如果您的网站停滞不前，却没有任何增长（内容，链接或任何其他在线促销活动），则您可能不会从增长中获得好处。

确实，花很长的时间等待任何流量可能会有所帮助，但这是非常罕见的例外，而非常规。如果您不采取行动，您如何期望获得真正的竞争优势？

您的策略就像每天写文章一样简单，尤其是如果您最近没有在内容中投入大量精力，那就尤其如此。

或者，它可能更复杂，需要大量努力才能看到改进。

作为标准，如果您只是偶尔写内容，则可能不足以提供足够的新鲜内容来生成使您的网站保持在特定位置的链接。

通过执行竞争对手分析，您可以准确地了解竞争对手为达到排名最高水平所做的努力。

2.您尚未对内容进行任何重大更改

这将成为我们讨论中正在进行的更新的一部分。

如果您没有对内容进行任何更改，那么您可能会因为搜寻引擎排名和点击量而步履维艰。

在竞争激烈的行业中，您必须定期更新网站以在首页上竞争，您可能会因为无关紧要而失去优势。

在这种情况下，不相关意味着您根本没有更新您的网站或更改过您的内容，从而使您的网站成为不相关且过时的结果。

3.您使用新设计更新了站点

如果您使用新设计更新站点，则不一定意味着您的访问量会增加。

当您考虑了重定向以及可能困扰您网站的可爬网性和可索引性的其他问题时，尤其如此。

例如，可能导致您失去搜索引擎排名的一个问题是该网站的新主题很大程度上基于JavaScript，这可能会干扰爬网和索引编制。

如果基于JavaScript的设计干扰了搜索引擎的爬网，您网站的可索引性将降低。

如果搜索引擎无法抓取您的网站或将其编入索引，您猜会发生什么？您将遇到搜索引擎排名和流量方面的问题。

这就是为什么让您的SEO专业人员成为任何新网站启动一部分的原因。他们可以发现一些被开发人员忽略的事情。

尽管开发人员可能会选择开源CMS，但如果它干扰了基本的爬网和索引编制，那么搜索引擎的排名和访问量就会下降。

拥有精通服务器端问题的SEO专业人员很重要，这可能会对您的SEO性能产生积极影响。

4.您删除了高流量的内容

假设您着手进行了一个新的内容审核工作。建议之一是从您的站点中删除精简和重复的内容。但是有一个问题。审核未考虑这些页面是否实际收到流量，仅考虑页面的质量。

发生这种情况时，您的情况是内容审核实际上对您不利，而不是对您有利。

内容问题有多个视角。一方面，虽然您的网站可能包含重复且低质的内容，但如果您不考虑技术性SEO方面的问题，也不会考虑哪些页面正在获得流量，则您可能会失去部分流量。

如果您合并和删除的作品的流量很大，而新作品的相关性或吸引力还不够高，则还可能会失去其他页面的流量。

5.您的Robots.txt文件可能会导致索引问题

这是我在审核过程中遇到的最常见的现场技术错误之一：由于对robots.txt的配置不正确，客户端不允许对所有页面和文件夹进行爬网。

如果您不小心并且不完全了解如何使用（或不使用它），此文件可能会决定您的爬网和索引编制的成败。

例如，robots.txt文件顶部得以下行：“ Disallow：/”将导致搜索引擎停止抓取整个网站并将其编入索引，从而导致流量下降。

站外因素可能导致排名下降

事实证明，有许多站外因素可能会导致流量和排名下降。这将需要更深入的挖掘和相关分析。

例如，如果您丢失了来自人流量特别大的站点的链接，则可能导致流量下降。让我们从这里开始。

6.从站点中删除的链接

这种情况比您想像的更多。如果流量下降，您可能要检查并确保没有丢失获取该流量的一两个链接，然后再得出结论，这肯定是一种惩罚。

网站管理员喜欢清理其链接。学习如何执行链接审核和链接删除是分析这些类型的链接的好方法。

7.链接到您的网站的链接消失了

如果链接到您的网站永久掉线，则可能是该网站的流量永久丢失。

确实没有任何方法可以防止这种情况的发生。就链接获取而言，您只需要将该站点替换为另一个站点即可。

一旦发现此问题，您将不得不寻找其他网站以链接到您，以增加访问量。

8.链接到您的站点不再接收流量

如果链接到您的网站受到处罚并从搜索引擎的索引中删除，那么您将失去来自这些网站的访问量。

不幸的是，这是您可能无法查明的。这就是不断进行的链接建设活动对于SEO成功至关重要的原因。

搜索结果页的变化会影响搜索引擎排名

9.精选或丰富摘录更改

如果您有精选的摘要，丰富的摘要或其他类型的摘要在吸引点击量，则如果SERP更改并且不再显示该摘要，您的点击量将会在一夜之间下降。

同样，竞争者可能会投放更高质量的资源，从而使您摆脱梦寐以求的片段。

如果多个SERP已更改，则必须对其进行分析，并确定流量损失是否是由于这些关键SERP元素的丢失所致。

10.受众搜索行为的变化

受众群体的搜索行为会随着时间而改变，从而减少了曾经排名的网页的访问量。

发生这种情况的原因可能是全球大流行等宏观问题，或者是趋势产品或服务等危害较小的事情。

消费者改变主意和行为。这只是野兽的天性。

如果要参加SEO，还必须为因季节变化而导致的流量下降做好准备。

服务器端可能影响搜索引擎排名的错误

11. 4xx客户端错误或5xx服务器错误

如果发生许多4xx客户端错误或5xx服务器错误，可能会导致流量从潜在有价值的网页上掉落。

此外，当时处于活动状态和排名的任何页面在关闭后都可能会失去排名。

另一个问题是有很多软404。这是200个OK页面，它们被伪装为真实内容页面。

实际上，它们在页面上的文本内容很少甚至没有。这将需要进行更直观的分析，以完成维修。

这就是为什么必须定期维护网站的原因。

如果您不执行常规审核并发现这些错误，那么当这些错误变得太大时，您可能会遭受流量和排名损失的困扰。

12.服务器在关键时间段内停机过多

如果您的服务器无法正常运行甚至无法为网站服务，则可能会遇到麻烦。

搜索引擎排名和点击量的想法是，您的网站将持续大量的时间。

如果用户无法访问该答案，百度不会推荐您为最佳答案。

13.网站的各个部分在关键时间段内消失

这几乎与服务器停机一样重要。

如果网站的热门部分的访问量在关键时间段内下降，则可能会看到访问量显著下降。

实施诸如Uptime Robot之类的正常运行时间工具可以帮助您查明具体的停机时间发生在哪里以及它如何影响您的整体流量。

拒绝文件问题

是的，即使您的拒绝文件也可能导致排名和流量问题。这些类型的问题的范围可以从拒绝错误类型的链接到不拒绝所有不良链接。

这就是为什么对链接配置文件进行持续审查和审核对于确保您的网站不会失去搜索引擎排名和流量至关重要的原因。

14.负面SEO

如果您收到大量垃圾链接，则搜索引擎会很好地忽略它们。

但是，仍然存在野蛮的SEO攻击情况，因此，如果您发现大量随机垃圾链接大量涌入，则可能要拒绝它们。

在某些情况下，您可能不想拒绝每次出现的垃圾链接。拒绝文件可能对搜索引擎排名和流量造成的问题包括但不限于以下两个问题。

15.您拒绝好的链接

您的拒绝文件可能包含完整的链接。

除非您进行了更深入的分析，否则您将如何知道？

如果您拒绝所有良好的联系，您认为会发生什么？

根据拒绝的严重程度，您可能最终回到第一个方格。

这就是为什么确保您的分析工具与您自己的手动分析一样准确的原因。

16.您意外拒绝了搜索引擎

这有可能发生。

您拒绝一个或两个链接，这些链接是指向百度的链接（该链接不再存在）。

在格式化和缩短域的URL的过程中，您无意中将普通的百度域包括在拒绝中。

猜猜发生了什么事？您拒绝了百度。

我们可能不需要解释接下来会发生什么。

快速有效的诊断是解决搜索引擎排名和流量下降的关键

如果您遇到流量或搜索引擎排名下降的情况，请务必保持镇定。恐慌无济于事，实际上会使情况更糟。深吸一口气，分析可能出了什么问题。有时候，答案可能比您想象的要简单得多。通过快速有效的诊断，可以修复或至少应对任何搜索排名下降的情况。

版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至 lkba@aliyun.com 举报，一经查实，本站将立刻删除。

转载请注明来自专注SEO技术,教程,推广 ，本文标题：《搜索引擎排名优化的关键（网站robots文件怎么优化）》

标签：搜索引擎排名网站优化关键