反网路爬虫

反网路爬虫【反网路爬虫】网路爬虫,是一个自动提取网页的程式,它为搜寻引擎从全球资讯网上下载网页,是搜寻引擎的重要组成 。
但是当网路爬虫被滥用后,网际网路上就出现太多同质的东西,原创得不到保护 。于是,很多网站开始反网路爬虫,想方设法保护自己的内容 。他们根据ip访问频率,浏览网页速度,账户登录,输入验证码,flash封装,ajax混淆,js加密,图片,css混淆等五花八门的技术,来对反网路爬虫 。防的一方不惜工本,迫使抓的一方在考虑成本效益后放弃抓的一方不惜工本,防的一方在考虑用户流失后放弃参考: 美国高级情报官员透露,美国国家安全局前雇员斯诺登仅仅是利用普通的网路爬虫软体(Webcrawler),从国安局网路里面截取大量的机密档案与资料.反网路爬虫:越来越成为一种新的行业