简单爬虫项目总结_01( 二 ) _操作

Header[] cookies= response.getHeaders("set-cookie");
获取，在向子网站发送请求时携带
hget.addHeader("Cookie",cookie);

文章插图
截取出有效的json字符，再将字符串转为实体类，在定义实体类时要完全按着json属性定义
@JsonProperty(value = "http://www.kingceram.com/post/address")private String address;
再用将json字符串转为实体类

List cityStoreList = null;ObjectMapper oMapper = new ObjectMapper();try {// json字符串转对象cityStoreList = oMapper.readValue(cityJson,new TypeReference>() {});if (cityStoreList != null && cityStoreList.size() > 0) {//对含实体类对象的list进行操作}} else {log.debug("");}} catch (Exception e) {log.debug(e.getMessage());}

拿到数据再入库，或者导入excel
这个项目用了配置文件
第一次在项目中运用配置文件，在一些可能会变更的地方用配置操作，个人感觉配置文件方便了代码的维护
错误日志用的log4j网上找的方案
坚持每个项目都写一个