天高任鸟飞

百度蜘蛛建立重要索引数据库的原理是什么，哪些网页不能被索引

众所周知，搜索引擎的索引数据库是分层的，高质量的网页被分配到重要的索引数据库中，普通的网页留在普通的数据库中，差的网页被分配到低级数据库作为补充材料。目前，60%的搜索需求只需要调用重要的索引库。这就解释了为什么有些网站的流量很高，但流量并不理想。

 

什么样的网页可以添加到高质量的索引库中？其实，总的原则是对用户的价值。收录以下内容：

 

1、 高价值原创内容页面：百度将原创的定义定为一定的成本，积累了很多形成文章后的经验。别问我们假货是不是真品。

 

2、 重要的个人页面：这里有一个例子。科比在新浪微博上开了一个账户。他需要经常更新，但它仍然是百度的重要页面。

 

3、 高质量的主题页：主题页的内容不一定是完全原创的。它可以整合各个方面的内容，增加新鲜的内容，如意见和评论，丰富用户的综合内容。

 

4、 页面有时效性和价值性：在这里，时效性与价值并置，缺一不可。一些网站为了及时制作内容页面做了大量的收录工作，导致很多页面毫无价值，百度不愿看到。

 

优秀网页进入索引库，但互联网上的大部分网站都不被百度收录。不是百度没找到，而是建库前的过滤过程被过滤掉了。什么样的网页在初始阶段被过滤

 

1、重复页面内容：互联网上已有的内容，百度不必收录。

 

2、有些内容，比如JS，AJAX，使用了百度蜘蛛无法分析的技术。通过访问，用户可以看到丰富的内容，但它仍然被搜索引擎抛弃。

 

3、加载速度慢的网页也可以被视为空页。请注意，广告的加载时间在网页的总加载时间内。

 

4、许多不突出的网页在这个阶段即使被抓到也会被丢弃。