搜索引擎优化有如此多的移动部分，似乎一旦我们完成了网站的某个部分的优化，我们就必须回到我们刚刚工作的部分。
一旦你走出“初来乍到”的阶段，觉得自己有了一些真正的SEO经验，你可能会开始觉得有些东西你可以花更少的时间去改正。
可索引性和爬行预算可能是其中的两个，但忘记它们将是一个错误。
我们总喜欢说，有索引问题的网站是有自己方式的网站。该网站无意中告诉搜索引擎不要对他们的页面进行排名，因为他们没有正确加载或重定向太多次。
如果你认为你不能或者不应该把时间花在修复网站的可索引性这一绝对不那么有吸引力的任务上，请三思。
索引问题可能会导致你的排名直线下降，你的网站流量迅速枯竭。
所以，你抢预算一定要放在第一位。
在这篇文章中，我们将向你介绍一种提高网站可索引性的技巧。
1.使用网站管理员工具跟踪抓取状态。
爬行状态中的错误可能表明您的网站存在更深层次的问题。
每30-60天检查一次抓取状态，对于识别影响网站整体营销绩效的潜在错误非常重要。
这其实是SEO的第一步；没有它，所有其他努力都是徒劳的。
常见爬行错误及解决方法
如果您的网站不幸遇到了抓取错误，它可能需要一个简单的解决方案，或者表明您的网站存在更大的技术问题。
我看到的最常见的抓取错误是:
DNS错误。
服务器错误。
Robots.txt错误。
04错误。
要诊断这些错误，您可以使用爬网诊断来检查如何查看您的网站。
无法正确获取和呈现页面可能表明存在更深层次的DNS错误，需要由您的DNS提供商来解决。
解决服务器错误需要诊断特定的错误。最常见的错误包括:
暂停。
拒绝连接。
连接失败。
连接超时。
没有回应。
在大多数情况下，服务器错误通常是暂时的，尽管持续的问题可能需要您直接联系您的主机服务提供商。
另一方面，Robots.txt错误可能会给你的网站带来更多的问题。如果你的robots.txt文件返回200或404错误，说明搜索引擎很难检索到这个文件。
可以提交robots.txt sitemap或者完全避开协议，选择手动noindex页面，可能会给你的抓取带来问题。
快速解决这些错误将确保下次搜索引擎抓取您的网站时，您的所有目标页面都会被抓取并编入索引。
2.创建适合移动设备的网页
我们还必须优化我们的页面，以便在移动索引上显示适合移动设备的内容。
如果没有适合移动设备的内容，桌面内容仍将被编入索引并显示在移动索引下。但是你的排名可能会受到影响。
有许多技术调整可以立即使您的网站更适合移动设备，包括:
实现响应式网页设计。
将视点元标记插入内容。
减少页面资源。
使用AMP缓存来标记页面。
并优化和压缩图像以加快加载时间。
减小页面UI元素的大小。
请务必在移动平台上测试您的网站，并通过Google PageSpeed Insights运行它。页面速度是一个重要的排名因素，会影响搜索引擎抓取你网站的速度。
3.定期更新内容
如果你定期生成新内容，搜索引擎会更频繁地抓取你的网站。
这对于需要定期发布和索引新故事的出版商尤其有用。
生成常规内容会向搜索引擎发出信号，表明您的网站正在不断改进和发布新内容，因此需要更频繁地对其进行抓取，以覆盖其目标受众。
4.向每个搜索引擎提交一个站点地图
到目前为止，最好的索引技术之一仍然是向每个搜索引擎工具提交一个站点地图。
您可以使用站点地图生成器创建XML版本，也可以通过标记包含重复内容的每个页面的规范版本，在工具中手动创建一个XML版本。
5.优化您的互联方案。
建立一个一致的信息架构是必不可少的，以确保您的网站不仅索引正确，而且组织正确。
创建可以放置相关网页的主要服务类别可以进一步帮助搜索引擎在意图可能不清楚时正确地索引某些类别下的网页内容。
6.独立网页的深层链接
如果您的网站或子域上的网页是单独创建的，或者某个错误阻止了它被爬网，您可以通过获取外部域上的链接来索引它。
这是一个特别有用的策略，可以在你的网站上推广新内容，并更快地索引。
当心联合内容来完成这个操作，因为搜索引擎可能会忽略联合页面，如果它们没有被正确标准化，它们可能会产生重复的错误。
7.减少页面资源并增加加载时间
强迫搜索引擎抓取大的和未优化的图像会消耗你的抓取预算，并阻止你的网站被频繁索引。
搜索引擎也很难抓取你网站的一些后端元素。比如我一直在努力抢Javascript。
甚至有些资源在移动设备上表现不佳，会耗尽你的抓取预算。
在某种意义上，这是一个双输的场景，页面速度和抓取预算都被页面上的突发元素牺牲了。
确保通过压缩页面资源来优化您的网页，以提高速度，尤其是在移动设备上。您还可以启用缓存和压缩来帮助蜘蛛更快地抓取您的网站。
8.使用Noindex标记修复页面
在你的网站开发过程中，在可能重复的页面上实现noindex标签可能是有意义的，或者只适用于执行特定操作的用户。
无论如何，你可以使用免费的在线工具来识别带有noindex标签的网页，这将防止它们被抓取。
9.消除重复内容。
拥有大量重复的内容会显著降低你的抓取速度，消耗你的抓取预算。
您可以通过阻止这些页面被索引或在您希望被索引的页面上放置规格标签来消除这些问题。
同样，优化每个单独页面的meta标签以防止搜索引擎在搜索过程中将相似的页面误认为重复的内容也是值得的。
10.屏蔽不想让蜘蛛抓取的页面。
在某些情况下，您可能希望阻止搜索引擎搜索特定的页面。您可以通过以下方式做到这一点:
放置一个noindex标签。
将URL放在robots.txt文件中。
完全删除该页面。
这也可以帮助你的抓取运行更有效，而不是迫使搜索引擎转储重复的内容。
结论
你的网站的可抓取性问题的状态或多或少取决于你对你的SEO的了解程度。
如果你一直在修改后端，那么你可能在这些问题失控并开始影响你的排名之前就已经发现了。
但是，如果你不确定，请联系郎志超，让我们看看你做得怎么样。
