搜索引擎蜘蛛是如何抓起网页的

海外服务器 (520) 2015-10-09 13:32:41

学习网站优化就像谈恋爱,你就是要冲着跟搜索引擎结婚的目的去的,人家才会给你排名,你如果连你家姑娘的心思都猜不透,你们俩怎么过日子?可以理解搜索引擎原理和重要性了吧。抓取是什么?就是蜘蛛来试探你网站是干什么的,怎么干的,你网站有多少份量,又有多少潜力。排名是什么?排名就是你丈母娘和老丈人听着你姑娘说你靠不靠谱,记录留档,对比下其他来过的小伙子,给你们排个序。

 

一、抓取系统

 

1.互联网概念

互联网就像蜘蛛网,每一个交叉点就是大家的网站。

2.搜索引擎概念

搜索引擎就是一个提供给用户搜索网站的平台。

3.搜索引擎蜘蛛

就是一段代码,像个蜘蛛一样“网”上抓取网站,不是说长得像蜘蛛!

4.蜘蛛的识别内容

蜘蛛并不是能看到你网站所有的信息,它所能看到的是你网站的源文件,它特别喜欢文字性的内容。网站尽量避免FLASH,JS,iframe框架等蜘蛛是无法识别的内容,后期我们会讲到图片,FLASH 的优化。

 

二、蜘蛛的抓取方式

 

1.抓取行为

蜘蛛是模拟用户的阅读习惯的,蜘蛛“看”网站的时候也是,从上到下,从左到右。

2.抓取深度

抓取链接的深度是什么?可以比喻为:我的电脑--C盘--文件夹--文件。

3.蜘蛛的跟踪

网站IIS日志:网站的日记,记录了网站的抓取详情。

日记获取方式:百度站长平台-网站分析-抓取频次

4.吸引蜘蛛

蜘蛛那么多对象等着相亲,你是得预约和勾引的!

(1).百度站长-URL提交(主动提交)

(2).外部链接,通过别人的网站让蜘蛛进入你的网站(被动吸引)

5.影响蜘蛛抓取的因素

(1).路径过长

(2).中文路径

 

关于这方面的内容,涉及到SEO的基础优化,具体相关操作异同SEO在url路径优化中有详细说明。

THE END