最终的重新爬行分析:实施大规模SEO变更后的一个强大而重要的最后一步

作者:沃鸿

当帮助公司处理主要算法更新,网站重新设计,CMS迁移以及SEO力量中的其他干扰导致的性能下降时,我发现自己抓取了大量URL并且通常包括在客户参与期间的大量抓取对于大型网站在分析爬行数据时,从技术搜索引擎优化问题到内容质量问题再到用户参与障碍,我发现很多问题并不罕见。在解决这些问题之后,制定解决这些问题,纠正问题并改进问题的补救计划极为重要。整体网站的质量如果没有,一个网站可能无法从算法更新命中恢复,它可能处于灰色质量区域,技术问题可能会恶化,更多因为Google的John Mueller已多次解释恢复从质量更新来看,Google希望看到质量的显着提升,并且从长远来看,基本上,修复所有专业人士瑕疵 - 然后你可能会看到积极的动作当挖掘到一个站点时,你通常想要首先感受整个站点,其中包括企业爬行(一个更大的爬行覆盖足够的站点供你使用获得大量的SEO智能)这并不意味着抓取整个网站例如,如果一个网站有索引的100万个页面,你可能会开始爬200-300K页面这里有几个我已经执行的初始企业爬网,范围从250K到440K URL基于初始爬行,您可能会启动几个针对站点特定区域的手术爬行例如,注意站点的X部分中的大量精简内容?然后将下一次抓取重点放在该部分上您可以单独抓取该区域中的25-50K或更多URL,以便更好地了解正在进行的操作当完成所有操作后,您可以在参与期间启动一些手术爬行将注意力集中在这些特定领域的问题上例如,这里只是一个较小的,只有10K URL的外科手术爬行(专注于网站的特定区域)所有爬网都可以帮助您识别网站上尽可能多的问题然后它是由您和您的客户团队(营销人员,项目经理,设计人员和开发人员组成)来实现需要完成的更改在帮助客户时,我通常可以访问临时环境,因此我可以在更改之前检查更改生产网站这是一个很好的方法,以便将问题扼杀在萌芽状态不幸的是,有时候不正确实施的更改可能会导致更多问题例如,如果开发人员误解理解了一个主题并实施了错误的更改,最终可能会遇到比启动时更多的问题您绝对希望确保所有正在实施的更改都是正确的,或者您最终可能会比审核前的状态更糟糕一种爬行分段的方法什么时候没有公开可用的是VPN访问我在上一篇文章中介绍过如何在更改推送到生产之前抓取登台服务器但是这里的问题我们现在谈论的是暂存环境而不是生产有时会发生变化从分段推送到生产并出现问题也许指令变得拙劣,代码故障破坏元数据,网站设计受到影响,这也影响可用性,移动URL受到负面影响等等因此,你肯定想要检查分段的变化,但你绝对想要在生产生效后仔细检查这些变化我不能告诉你我检查了多少次生产坐e变化被推到现场并发现问题有时它们很小,但有时它们不是那么小但是如果你在它们第一次推出时抓住它们,你可以在它们造成长期损害之前解决这些问题我带来的原因所有这一切都是因为检查生产路径上的变化是非常重要的,然后显然一旦变化达到生产而且包括重新生成变更已经生效的网站(或部分)让我们再谈谈重新抓取现在,你可能会说Glenn在这里谈论了很多工作......好吧,是的,没有幸运的是,一些顶级爬行工具可以让你比较爬行,这可以帮助你节省大量的时间进行重新爬行分析 我之前已经多次提到过两个我最喜欢的抓取工具,它们是DeepCrawl和Screaming Frog(免责声明:我是DeepCrawl的客户顾问委员会并且已经使用了很多年)两者都是出色的抓取工具,提供了我经常说,当使用DeepCrawl和Screaming Frog审核网站时,1 + 1 = 3 DeepCrawl对于企业抓取非常有用,而Screaming Frog对于手术爬行来说非常出色信用:GIPHY DeepCrawl和Screaming Frog非常棒,但是有一个新的孩子,他的名字是Sitebulb我刚刚开始使用Sitebulb,而我正在挖掘它我肯定会看看Sitebulb并尝试一下它只是另一个可以补充DeepCrawl和Screaming Frog当您通过DeepCrawl重新抓取网站时,它会自动跟踪上次抓取和当前抓取之间的更改(同时提供跨所有抓取的趋势)这对于比较问题有很大帮助在之前的爬网中浮出水面的ms你也会看到每个问题的趋势随着时间的推移(如果你执行的不仅仅是两次爬行)Screaming Frog本身不提供比较功能,但你可以将问题从工具导出到Excel然后你可以比较报告来检查变化例如,404s从15K下降到3K?过长的标题从45K下降到10K?没有索引的页面是否准确地从0增加到125K? (依此类推)你可以很容易地在Excel中创建自己的图表现在来了名为Sitebulb的年轻朋克你会很高兴知道Sitebulb提供了本地比较爬行的能力你可以点击任何报告和检查随时间的变化Sitebulb跟踪项目的所有爬网并报告每个类别随时间的变化真棒如您所见,正确的工具可以提高您的效率,同时爬行和重新抓取站点问题浮出水面后,创建补救计划,更改已实施,在分段中检查更改,然后将更新推送到生产,最终重新爬行非常重要能够比较爬网之间的更改可以帮助您识别任何未正确完成或需要更多细化的更改以及对于尖叫青蛙,您可以导出到Excel并手动比较现在让我们谈谈在重新爬行分析期间您可以找到的内容在更改被推送到生产之后,您完全暴露的SEO智慧Googlebot无疑会很快开始抓住这些变化(无论好坏)引用阿甘正传,“生活就像一盒巧克力,你永远不会知道你会得到什么”嗯,彻底爬行是同样的方式当更改生效时,有很多潜在的问题可以注入到网站中(特别是在复杂的大型网站上)你可能会对你发现的内容感到惊讶下面,我列出了各种各样的问题。多年来帮助客户重新制作生产这些子弹并非虚构他们实际上发生了并且被意外推向生产(CMS导致了问题,开发团队意外地推了一些东西,有代码故障等等)Murphy定律 - 任何可能出错的东西都会出错 - 这在SEO中是真实的,这就是为什么在它们上线后检查所有变化是至关重要的记住,目标是解决问题,而不是添加新的问题幸运的是,我选择了问题很快,将它们发送给每个开发团队,并将它们从等式中移除我认为你得到的图片这就是为什么单独检查分段不够好你需要重新生成生产站点,因为更改生效以确保实现这些更改正确再次,上面列出的问题已经浮出水面并迅速纠正但是如果在更改生效后网站没有再次被抓取,那么它们可能会造成大问题我们不会生活在一个完美的世界中没有人试图破坏网站时推动变革现场简单地说,在大型和复杂的网站上工作会给可能导致大问题的小错误敞开大门重新引导您所引导的变化可以将这些问题扼杀在萌芽状态并且可以节省一天的搜索引擎优化。您已经运行了最终的重新爬网分析,这非常棒对于那些相信您推荐的更改能够正确推向生产的人,请阅读我在重新抓取过程中发现的实际问题列表再次分析然后确保在您的下一个项目中包含重新爬行分析 这是关于墨菲定律的“最后一英里”,在它真实之前,它对于SEO来说是可怕的。重新抓取可以帮助墨菲避开 - 当Googlebot敲响时,这总是一件好事。....