爬虫技术，这些搜索引擎会以一定的频率，通过这些网络爬虫将搜集到的信息录入到数据库中，以保证用户从引擎入口检索时，能更多更准确的从互联网庞杂的信息中找到仔细想要的东西。

    这种类型的网络爬虫一般称为通用网络爬虫。

    另一类则是聚焦爬虫。

    这是一种针对特定网站或者特定信息不停抓取的技术。

    一般来说能够遵守robots协议来使用这项技术都是没问题的。

    但事实上，网络上遍布的许多网络爬虫，干的都不是人事。

    跟所有人息息相关网络爬虫案例就是黄牛抢票。

    比如全球被各种网络爬虫光顾最多的就是12306。

    每到节假日，尤其是五一、十一、春运这样的出行高峰，热门地区的火车票总会特别难抢，甚至是秒空。而且这个时候12306软件都很难打开，基本也都是拜这种网络爬虫所赐。

    根据统计，华夏12306点击量最高峰曾达到59亿次/小时，平均每秒就有160多万次点击。显然不是正常用户能刷出来的数字。

    官方程序也通过各种升级验证码，来防止黄牛抢票，甚至有一段时间，那些堪称变态级别的验证码甚至难到让一个普通人无所适从。

    即便现在推出人票合一的功能了，但无数抢票软件依然利用加价购买抢票包的方式提供这种服务。

    除此之外，各大航空公司也是非法网络爬虫的重灾区，尤

本章还未完，请点击下一页继续阅读>>>