java知乎爬虫 _爬虫

好久没写博客了，前阵子项目忙着上线，现在有点空闲，就把最近写的一个爬虫和大家分享下，统计结果放在了自己买的阿里云服务器上(点此查看效果)，效果如下：

文章插图
程序是在工作之余写的，用了java 的框架，这是国内黄亿华大师的作品，框架的核心思想借鉴了的爬虫。之前也有用抓取过一些数据，但这次想尝试下新的东西，结果很赞。
简单来说，和的核心分布在4个部分：
框架的整个架构很清晰，另外还有就是的一大特色，就是框架使用了Ioc的思想，提供了注解的功能，结合框架，及其方便的的实现了和这两部分。
如果从网页中通过正则或者xpath 提取数据不需要经过二次处理，则我们可以用很少的代码量便可将数据插入数据库，当然如果要将数据加工处理完再放入数据库的话，就要自己写个。
在写这个程序的时候，踩过一些坑，这里简单说一下。
1、在使用的时候，支持提供了和ler，我选择了前者，默认只支持使用一个数据库，后面稍微拓展了下，允许通过传入 index 来指定redis中数据库，这样就可以实现多个爬虫同时实用redis 中不同的数据库了。
2、阿里云安装redis 时候，一开始没有到redis.conf中设置为yes ,导致在shell 中启动redis 卡死了好些次。
3、爬虫爬了半天后，先后出现这两个错，

1.WARNING overcommit_memory is set to 0! Background save may fail under low memory condition. To fix this issue add 'vm.overcommit_memory = 1' to /etc/sysctl.conf and then reboot or run the command 'sysctl vm.overcommit_memory=1' for this to take effect.2.WARNING: The TCP backlog setting of 511 cannot be enforced because /proc/sys/net/core/somaxconn is set to the lower value of 128.

解决方案是：
问题一： echo “vm.=1” > /etc/.conf 或 vi /.conf , 然后重启机器
问题二：echo 511 > /proc/sys/net/core/
4、关于登陆的问题，在浏览器端登陆后，把复制出来放到请求里就好，另外自己参考这网上的一些示例写了一个简单的模拟登陆的小程序，支持一些没有用js动态控制和生产token的网站，实现了登陆后把写入配置文件。

private Site site = Site.me().setCycleRetryTimes(5).setRetryTimes(5).setSleepTime(300).setTimeOut(3 * 60 * 1000).setUserAgent("Mozilla/5.0 (Macintosh; Intel Mac OS X 10_7_2) AppleWebKit/537.31 (KHTML, like Gecko) Chrome/26.0.1410.65 Safari/537.31").setCharset("UTF-8").addCookie("_xsrf", "cf81e98c4f3b9ea548e9df87a4e5a320").addCookie("_za", "8d9d4056-20d8-4d22-bdf7-e88443560b4e").addCookie("z_c0", "QUFDQVBrOGlBQUFYQUFBQVlRSlZUYUQ2dGxiSGozdE42SnNlbzg0U2o2WGk5RDZ2Yi1VWUd3PT0=|1452240288|066af60adedc1989e42f55733738e2738a00c2ed") ;

5、其实写这程序的时候是希望实现通过web 的方式来控制启用和停止爬虫的，中间试过延迟加载bean ,来实现web 控制爬虫启动，但不知咋停止。后面听朋友说，公司一般都是通过脚本来控制爬虫，事实我也是把爬虫丢在linux 上，用脚本控制的，于是乎就觉得这需求没有多大必要，就木有折腾了。嗯，如果非得做出功能的话，大概也是在web程序里面实现脚本调用这样功能吧。
最后总结下，写这个爬虫还是蛮有乐趣的。从写爬虫，后面买阿里云的服务器，安装nginx,mysql,redis,git，然后用自己在公司学到的-boot+这一套，配合着百度，简单整合了下，做出了点能让人看到东西，学到不少。
最后贴上程序在上的地址
【java知乎爬虫】简单的的模拟的登陆程序，可以保存到配置文件