因为如果这个湍流算法已经问世，大家就不会依然对那些恶意网络爬虫无计可施，只能缝缝补补的处理。
没错，此时宁为脑海中蹦出的湍流算法就是专门针对处理恶意网络爬虫的一种智能算法。
互联网时代的网络上充斥着各种网络爬虫。
所谓网络爬虫其实就是一种按照一定规则，自动批量抓取网络信息的程序跟脚本。最广泛的应用大概就属搜索引擎，通过网络爬虫技术，这些搜索引擎会以一定的频率，通过这些网络爬虫将蒐集到的信息录入到数据库中，以保证用户从引擎入口检索时，能更多更准确的从互联网庞杂的信息中找到仔细想要的东西。
这种类型的网络爬虫一般称为通用网络爬虫。
另一类则是聚焦爬虫。
这是一种针对特定网站或者特定信息不停抓取的技术。
一般来说能够遵守robots协议来使用这项技术都是没问题的。
但事实上，网络上遍布的许多网络爬虫，乾的都不是人事。
跟所有人息息相关网络爬虫案例就是h牛抢票。
内容未完，下一页继续阅读