蜘蛛，也叫网络爬虫，总之是搜索引擎的一个自动程序，每天的工作就是访问互联网上的“html”网页。好奇心很强，通常对于第一次遇到的“html”网页，都会把它们带回来，放到索引数据库里面，你能在搜索引擎上找到的网页就是蜘蛛带回来的。

    因为蜘蛛是一个自动程序，蜘蛛是依靠各项设定的规则来行动的，如果你想知道蜘蛛的行动规则，就继续向下读吧。

    蜘蛛每天都非常勤奋的工作，从来都不知道休息，蜘蛛最喜欢去的地方就是网站提交服务器，因为大家会把最新的网站网址提交到那里，沿着提交过来的网址，蜘蛛总能找到很多的“html”网页。但是对于这些新提交过来的网址，蜘蛛还是非常挑剔的。蜘蛛最怕的就是沿着网址爬过去了，却发现什么都没有，或者爬过去之后发现发现环境很不稳定，有的道路都是死路口或者错误的路口，对于这种情况，蜘蛛会毫不犹豫的马上走掉，什么都不带走。当然，蜘蛛走了以后，还会抽空再过来看看，如果情况长时间没有改变，蜘蛛就发誓这辈子都不再来了。相反，如果蜘蛛来的时候，发现环境很好，道路通畅，而且内容丰富，蜘蛛的心情自然就变的非常的好，不仅会带走很多东西，而且会经常的光顾，这样的情况持续的时间长了，蜘蛛就会非常信任这样的站点。

    说实话，蜘蛛的工作还是非常辛苦的，需要去的地方实在的太多了，但是别担心，蜘蛛不会偷懒的。为了提高蜘蛛的工作效率，蜘蛛总结了一个经验，这也是长期的工作积累下来的一个经验。蜘蛛经常光顾一个站点的时候就发现，并不是蜘蛛每次去都能发现新东西的。而是有固定的时间间隔和一定的规律可循的，蜘蛛举个例子，当蜘蛛对一个站点经过一段时间的观察，就会发现这个站点是每天的上午9点钟到下午的6点种，这段时间新内容比较多，而且要拿来这些内容，每隔两个小时去一次就行了，其他是时间去了也是白去。那么针对这个站点，蜘蛛就会在自己的规则里填写上这样一条规则，以后就按照这样的规则执行，即节省了时间，又提高了效率。

    对于一些不能发现规律的站点，蜘蛛也会自定义规则，其实蜘蛛每次去的时候都会留下痕迹的，蜘蛛非常希望站长们能发现这些痕迹，让蜘蛛每次去的时候都能有所收获，因为徒劳无功的感觉实在很难过。

    实际上，蜘蛛是非常好相处的。因为蜘蛛信任谁，就会把谁当成蜘蛛的朋友，有朋友的感觉实在是好的不得了，平时有很多地方都是朋友朋友介绍蜘蛛去的，你可以看看蜘蛛经常光顾的站点上的“友情链接”部分，那就是蜘蛛的朋友特意为蜘蛛准备的。对于朋友的介绍，蜘蛛自然是非常的信任，因为好朋友是不会欺骗蜘蛛的，但是对于欺骗蜘蛛的朋友，蜘蛛也会给他严厉的惩罚。

    蜘蛛是蜘蛛，是网站与搜索引擎交流的自动程序，跟踪蜘蛛的动向和搜索引擎的反应，然后对你的网站进行有的放矢的优化，这是蜘蛛给你的建议。