还是跟着@Jack-Cui老哥教程跟着编的爬虫，稍微改动了下，主要是mysql的插入方式，我使用了的方法，不需要手动撸sql语句，还用的模块，可以显示进度条(不过不能再cmd用！！)
原网址：
要点：1.eval()可以把字串符变为 变量
2.利用循环生成创建表格的sql语句
3.的使用
文章插图
4.模块生成进度条
代码如下
#-*- coding:UTF-8 -*-import sysimport requestsfrom bs4 import BeautifulSoupimport refrom lazyspider.lazystore import LazyMysqlimport timefrom progressbar import *class FinancialData():def __init__(self):# 服务器域名self.server = 'http://quotes.money.163.com/'self.cwnb = 'http://quotes.money.163.com/hkstock/cwsj_'# 主要财务指标self.cwzb_dict = {'EPS': '基本每股收益', 'EPS_DILUTED': '摊薄每股收益', 'GROSS_MARGIN': '毛利率','CAPITAL_ADEQUACY': '资本充足率', 'LOANS_DEPOSITS': '贷款回报率', 'ROTA': '总资产收益率','ROEQUITY': '净资产收益率', 'CURRENT_RATIO': '流动比率', 'QUICK_RATIO': '速动比率','ROLOANS': '存贷比', 'INVENTORY_TURNOVER': '存货周转率', 'GENERAL_ADMIN_RATIO': '管理费用比率','TOTAL_ASSET2TURNOVER': '资产周转率', 'FINCOSTS_GROSSPROFIT': '财务费用比率', 'TURNOVER_CASH': '销售现金比率','YEAREND_DATE': '报表日期'}# 利润表self.lrb_dict = {'TURNOVER': '总营收', 'OPER_PROFIT': '经营利润', 'PBT': '除税前利润','NET_PROF': '净利润', 'EPS': '每股基本盈利', 'DPS': '每股派息','INCOME_INTEREST': '利息收益', 'INCOME_NETTRADING': '交易收益', 'INCOME_NETFEE': '费用收益','YEAREND_DATE': '报表日期'}# 资产负债表self.fzb_dict = {'FIX_ASS': '固定资产', 'CURR_ASS': '流动资产', 'CURR_LIAB': '流动负债','INVENTORY': '存款', 'CASH': '现金及银行存结', 'OTHER_ASS': '其他资产','TOTAL_ASS': '总资产', 'TOTAL_LIAB': '总负债', 'EQUITY': '股东权益','CASH_SHORTTERMFUND': '库存现金及短期资金', 'DEPOSITS_FROM_CUSTOMER': '客户存款','FINANCIALASSET_SALE': '可供出售之证券', 'LOAN_TO_BANK': '银行同业存款及贷款','DERIVATIVES_LIABILITIES': '金融负债', 'DERIVATIVES_ASSET': '金融资产', 'YEAREND_DATE': '报表日期'}# 现金流表self.llb_dict = {'CF_NCF_OPERACT': '经营活动产生的现金流', 'CF_DIV_REC': '已收利息', 'CF_INT_PAID': '已付利息','CF_INT_REC': '已收股息', 'CF_DIV_PAID': '已派股息', 'CF_INV': '投资活动产生现金流','CF_FIN_ACT': '融资活动产生现金流', 'CF_BEG': '期初现金及现金等价物', 'CF_CHANGE_CSH': '现金及现金等价物净增加额','CF_END': '期末现金及现金等价物', 'CF_EXCH': '汇率变动影响', 'YEAREND_DATE': '报表日期'}# 请求头self.headers = {'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8','Accept-Encoding': 'gzip, deflate','Accept-Language': 'zh-CN,zh;q=0.8','User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/59.0.3071.109 Safari/537.36'}#总表self.table_name={'cwzb': '主要财务指标', 'lrb': '利润表', 'fzb': '资产负债表', 'llb': '现金流量表'}def get_name(self,code):'''输入股票编号，返回名字，报表时间'''code=str(code)target_url = self.cwnb+code+'.html'req = requests.get(url=target_url, headers=self.headers)req.encoding = 'utf-8'html = req.textpage_bf = BeautifulSoup(html, 'lxml')# 股票名称name = page_bf.find_all('span', class_='name')[0].string#报表初始时间———结束时间time=page_bf.find_all('select',id='cwzb1')[0].select('option')endtime=time[0].textstarttime=time[-1].textreturn name,starttime,endtimedef get_informations(self,code):'''返回名字，汇总字典{报表:对应list，，，}'''# 整个汇总字典结构如下{'cwzb':[{'TURNOVER':33,'股票名':tx,···}、{}],'lrb':[{}，{}],····}name, starttime, endtime=self.get_name(code)table_dict={}#总字典for table in self.table_name.keys():#每个表的数据轮流单独处理url=self.server+'hk/service/cwsj_service.php?symbol={}&start={}&end={}&type={}&unit=yuan'\.format(code,starttime,endtime,table)#打开每个数据类型对应的网页，把该表格的数据汇总，每个年度的字典组成的listtable_text=requests.get(url=url,headers=self.headers).json()#得到对应的中英文转换表，self.cwzb_dictdicts=eval('self.'+table+'_dict')list=[]for one in table_text:#英文名的表头全部换为中文，再把每个年度的字典放进list里，然后再把这个list放进总字典c={dicts[zhong]:one[ying] for zhong in dicts.keys() for ying in one.keys() if ying==zhong}c['股票名']=namec['股票代码']=codelist.append(c)#c就是每一年度的具体报表，list就是该报表的每个年度的汇总，table_dict就是4个报表的汇总table_dict[table]=list#每个报表：listreturn name,table_dictdef insert_tables(self,table_dict):'''先创建table(现金流表、、)，然后把每一年的数据插入'''for table in table_dict.keys():#循环总字典table_name=self.table_name[table] #总字典key是英文(cwzb、、)，先转换为中文#循环数据(dict)把每一列的列名添加到创建table的sql语句中sql="CREATE TABLE IF NOT EXISTS %s (报表日期 char(30)"% table_namefor key in table_dict[table][0].keys():#总字典→报表→第一个字典的keysif key!='报表日期':sql+=','+key+' char(30)'sql=sql+")ENGINE=InnoDB DEFAULT CHARSET='utf8'"#运用lazymysql，登录mysql然后执行TEST_DB = {'host': 'localhost','user': 用户名,'password': 密码,'db': 'test'}store = LazyMysql(TEST_DB)store.query(sql)#直接操作sql语句，创建表格tablebar = ProgressBar(widgets=[#使用progress模块，显示进度条'[正在下载',Percentage(),Bar() ,']',table_name,])#把list的每一年的数据(dict)插入到对应的表格里for item in bar(table_dict[table]):#循环报表的listtime.sleep(0.1)store.save_one_data(item,table_name)#插入到mysql----表名，字典if __name__ == '__main__':print('*' * 100)print('\t\t\t\t\t财务数据下载助手\n')print('*' * 100)fd = FinancialData()# 上市股票地址code = input('请输入股票代码:')name,table_dict=fd.get_informations(code)print('\n%s:(%s)财务数据下载中！\n' % (name, code))fd.insert_tables(table_dict)print('\n%s:(%s)财务数据下载完成！' % (name, code))
- 基于Python实现的酒店住房管理系统
- Python的安装
- python matplotlib绘图、混淆矩阵 汉字字体、数字、英文字母的设置
- 不用担心你的小狗狗英文,担心社区里的宠物狗把低弄脏了用英语怎么说
- 后宫的妃子们怎样才能把皇上泡上床竟是这样
- 不小心把微信红包删除了怎么办,微信红包不小心删除了怎么办
- 把马赛克变成逼真大片，英伟达又出黑科技
- python 股票自动下单_【邢不行|量化小讲堂系列24
- 不小心把眉毛刮缺了了,眉毛刮掉了 要多久才会长出来啊？
- 不小心把钱存入信用卡能取吗,不小心把钱存入中原银行信用卡了能取出来吗？