在上一章，我们谈到了如何优化我们的网站结构，包括如何操作TDK，不要滥用H1标签等。，如何挖掘关键词，如何使用工具帮助我们优化站点事半功倍，导航优化技巧以及如何写内容更符合蜘蛛的胃口。
完整内容请盖章。
▌
机器人
这是网站和搜索引擎之间的协议。机器人会直接告诉搜索引擎我是否欢迎你来这里，也是我们给搜索引擎的一把钥匙。机器人必须先放在网站的根目录下。当一个爬虫进入我们的网站时，它首先会寻找这个文件。当该文件存在时，它将根据该文件中指定的范围进行爬网。如果禁止所有蜘蛛爬行行为，它会直接走开，不再爬行。
所以我们可以利用这个robots特性来隐藏不想发布的目录结构，比如后台管理之类的敏感目录。当然，这个特性也可以用来导流，让搜索引擎不必在无用的目录或页面上浪费精力，只抓取我们希望他们抓取的页面。
▌
面包屑导航设计，小功能大作用这是一个很容易被忽视的技能，尤其是对于新手站长。我们一般认为导航上有主页或者logo。为什么需要这行文字？面包屑导航具有以下功能:1.确定容易接近的位置。
面包屑可以告诉我们用户目前在哪里。它还允许用户返回到上一个目录。同时，蜘蛛非常喜欢面包屑导航，因为在抓取文章时，蜘蛛可以很容易地返回上一个目录，进入父目录继续抓取。2.添加内链关键词。
我们也可以使用这个函数为我们的父目录指定关键字。一般我们的目录有2-3个关键词，网址导航只能给这个目录一个关键词指向。当我们给了父目录第二个关键词指向不同的子页面，就相当于加了一个内链。3.王牌辅助，你不能打头阵。
面包屑导航是辅助功能，可以告诉用户自己在哪里，但不能完全取代主导航。4.层次关系，而不是浏览历史
面包屑应该表达层次关系，而不是浏览历史。我看到很多网站使用动态生成的面包屑，主要记录用户的浏览记录。这是一种错误的方法。用户浏览多了，这里会很复杂，逻辑不清晰。面包屑可以告诉用户自己目前处于哪个层次，父母是谁，让用户心中有数。如果他们对当前专栏的其他内容感兴趣，他们可以很容易地进入其他页面。
不要把链接地址放在面包屑导航的最后一级，因为当前页面已经在这个地址了，放链接没有意义。
5.清除分隔符
分隔符清晰，看起来逻辑清晰。常用的方法是右尖括号，比如上面苹果官网的设计，斜线“/”或者空。这样明确的表达就是递减关系。6.最后一级可以作为标题存在。
比如方舟博客，切换栏目的时候，头部的文字是一样的，但是栏目地址变了，所以我们把最后一层改成H1标签，告诉搜索引擎这个页面的标题是这个。▌
图片应用，让不可能变成可能搜索引擎无法解析图片的代码，所以搜索引擎把图片看成是一片空白，他不知道这张图片里有什么；现在图像识别技术在进步，相信有一天会实现图像内容识别。鉴于此，我们在做网站开发时需要注意以下几点:
避免网站上的大尺寸图片应用；很多图片，尺寸大，影响页面加载速度，所以在上传之前要对图片进行无损压缩，保证图片的清晰度，让图片足够小。推荐一个小工具:https://tinypng.com/;
给图片添加alt标签，可以被搜索引擎读取。将图片所表达的主题放在这里，这样搜索引擎就可以理解这个图片的作用。
▌
sitemap，给蜘蛛一个地图根据蜘蛛的链接地址，但是每个网站的权重不一样，所以蜘蛛在这个网站上抓取页面的深度和停留时间也不一样，会导致一些层次比较深的页面没有被蜘蛛抓取。我们需要一种方法来直接告诉蜘蛛我的页面在哪里，地址是什么？这是网站地图。我们把我们网页的地址放在这个文件中，这样搜索引擎蜘蛛就可以更好地抓取我们的页面。
这个文件可以告诉搜索引擎哪些页面重要，哪些页面次要，哪些页面应该重点抓取，哪些页面更新频繁等等。目前sitemap有三种格式，txt格式、XML格式和sitemap索引格式。
链接指向站点内部的链接，我们称之为内部链接、外部链接、外部链接。
内链，就是我们站内的关键词指向。比如易观方舟官网，我们参考产品介绍里的用户行为分析页面。当一个爬虫来到我们的网站，看到这么多链接指向一个页面，那么这个词就是这个页面的目标关键词。当用户在搜索引擎中搜索这个词时，会首先显示这个页面。内链是我们做SEO时要关注的一个重要方向，因为外链资源有很多不确定性，质量参差不齐，而内链完全是自己主导的。
每个页面都有一个目标关键字。当B页的目标关键词出现在A页时，应该指向B页，一个页面最多5个内部链接，因为我们要考虑用户体验。一个页面全是链接，会让访问者以为这是一个广告站，因为为了突出这个关键词，我们会加粗或者改变颜色。这样的关键词太多，让人反感，要注意内部链接的密度。经过实际测量，5%是建议的内部链接密度。
如何收集内链关键词？我们通过方舟频道分析探索近期关键词分布，收集这些词作为我们的页面关键词。比方舟百度统计的关键词集合更有价值。我们可以看到这个词来自哪个搜索引擎，跳出率如何，留存情况如何等等。我们还可以深入分析这些用户，找出他们接下来做了什么，以及为什么会失去它。我们也应该注意我们网页的内部链接。比如这个页面是关于用户行为分析的，那么如果我们把这个词链接到产品页面，关联度就会非常高。这是一个高质量的内部链接，关联性弱的链接会有打折的效果。
如果网站的文章很多，我们可以开发一个内部关键词数据库，把我们的关键词和链接地址存储在数据库里；当这个词出现在页面上时，自动替换到目标页面的链接地址，这将大大节省我们编辑文章时的时间。
▌
分页技巧分页是为了让更长的内容可以显示在不同的部分。比如分类列表页面，内容很多，我们可以分成10页。这样可以让用户体验非常好，容易阅读。而如何处理这种分页，让搜索引擎也有好的体验？我们在抓取页面的时候需要了解搜索引擎的规则，也就是看到一个页面连接，就往里面钻。想想吧。如果我们显示一个分类页面和20个页面的所有链接，将会有20多个条目。这样爬虫在抓取文章时，不会因为文章的深度而减少抓取量。我们看到现在很多网站都喜欢点击加载更多，然后加载10条内容。其实这种做法对搜索引擎是非常不友好的，因为有些是js请求的数据，搜索引擎不会触发这样的链接。这也会影响我们的收藏。
比较这两种分页哪个更受搜索引擎欢迎？
▌聚合营销思维，事半功倍。
什么是标签聚合？先说聚合的含义。聚合是指同一类型内容的聚合。其主要目的是方便用户阅读和访问者存在，也会被搜索引擎识别。网站是由页面组成的。页面分为两类，单页和聚合页。聚合页面将单个页面按照一定的规则聚合在一起，生成新的页面，比如内容分类。这是聚合页面。
既然可以生成新的页面，那么我们就可以通过适当的操作，将我们现有的内容重新洗牌，重新组合成新的页面，这样可以帮助我们增加收录的页面数量，事半功倍。
其实标签是赋予我们内容的一个关键词，目前的文章主要阐述了几点。一篇文章可能有多个标签。对于不同的标签，我们生成一个标签页，里面的文章都是标签相同的文章。
这个tab页面就是我们的聚合页面，自动生成，节省了我们的人力，增加了我们的页面数量。
需要注意的是，标签页并不是我们做网站初期要用到的技能，而是我们在内容达到一定程度后才能唤醒的技能。因为标签页不适合内容少的网站，而且内容很少聚合，页面之间的内容重复度很高，导致页面缺乏新意，反而影响搜索引擎的抓取。如果网站有大量重复内容，可能会导致蜘蛛来的频率降低。
我们再来看看旅游网站，比如携程。他们的文章可以聚合多个类别，比如旅行文章，也可以按照地区、旅行时间、价格等进行聚合。同样的主题也有不同的聚合主题页面，比如餐饮住宿类的酒店聚合页面，国家类的酒店聚合页面等等。分类聚合主题聚合
每个标签或类别对应一个页面，每个标签代表不同的含义，既方便了用户的浏览，又增加了搜索引擎的数量。
到目前为止，我们已经讲了网站建设初期应该注意的站点优化的知识点，如结构优化、关键词挖掘、导航技巧、内容技巧、机器人、面包屑导航、图片技巧、分页、sitemap、内部关键词、聚合页面等。
只有前期打好基础，后期的持续优化才能更好的进行。蜘蛛对我们网站的好感度会继续提高。我们应该根据上面的注意事项仔细润色我们的网站。
让搜索引擎喜欢我们的网站，足够多、好的信息才能让更多的人进入网站，了解网站。很多新手站长因为缺乏数据支持，很难发现网站现在到底存在什么问题。导致网站一直处于爬虫不喜欢的境地。
建议站长在网站初期部署一个用户行为分析工具。插一个又硬又宽的柜真的很好看。
