爬虫 -- 天天基金网数据简单爬取
时间:2022-07-28
本文章向大家介绍爬虫 -- 天天基金网数据简单爬取,主要内容包括其使用实例、应用技巧、基本知识点总结和需要注意事项,具有一定的参考价值,需要的朋友可以参考一下。
目标 — 简单获取天天基金网站的基金数据
代码区
import requests
import time
import pandas as pd
if __name__ == '__main__':
for j in range(1, 49):
url = f'http://fund.eastmoney.com/Data/Fund_JJJZ_Data.aspx?t=1&lx=1&letter=&gsid=&text=&sort=zdf,desc&page={j},200&dt=1597126258333&atfc=&onlySale=0'
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/21.0.1180.71 Safari/537.1 LBBROWSER'
}
resp = requests.get(url, headers=headers).text
str_ = resp[102:]
list1 = eval(str_.split(",count")[0])
print(f'正在爬取第{j}页')
print(f'本页爬取{len(list1)}条数据')
num = []
name = []
today_price = []
yesterday_price = []
day_value = []
day_value_rate = []
subscription_status = []
redemption_status = []
service_charge = []
for i in range(len(list1)):
# 1、基金代码号
num.append(list1[i][0])
# 2、股票名称
name.append(list1[i][1])
# 3、今日基金净额
today_price.append(list1[i][3])
# 4、昨日基金净额
yesterday_price.append(list1[i][5])
# 5、日增长值
day_value.append(list1[i][7])
# 6、日增长率
day_value_rate.append(list1[i][8])
# 7、申购状态
subscription_status.append(list1[i][9])
# 8、赎回状态
redemption_status.append(list1[i][10])
# 9、手续费
service_charge.append(list1[i][17])
df = pd.DataFrame()
df['基金代码'] = num
df['基金名称'] = name
df['2020-08-12n单位净值'] = today_price
df['2020-08-11n单位净值'] = yesterday_price
df['日增长值'] = day_value
df['日增长率n%'] = day_value_rate
df['申购状态'] = subscription_status
df['赎回状态'] = redemption_status
df['手续费'] = service_charge
try:
df.to_excel(f'基金{j}.xlsx', '基金信息', index=None, encoding='utf-8')
except Exception as e:
print(e)
time.sleep(1)
效果
- Safari UXSS漏洞分析(CVE-2016-4758)
- Sqoop抽取Hive Parquet表数据到MySQL异常分析
- Hue中使用Oozie创建Ssh工作流时sudo命令执行失败问题分析
- [译]Safari URL重定向漏洞(CVE-2016-4585)利用分析
- Hive中的Timestamp类型日期与Impala中显示不一致分析(补充)
- 百篇(5):FeignClient 在不同场景中的应用
- 如何使用Hue上创建一个完整Oozie工作流
- MySQL远程代码执行/权限提升漏洞的分析与实践(CVE-2016-6662)
- 如何在CDH集群上部署Python3运行环境及运行Python作业
- Hacking Aria2 RPC Daemon
- 如何修改CDH集群的DataNoe节点HOSTNAME
- Sparkjava Framework 文件遍历漏洞(CVE-2016-9177)分析与探究
- 绕过混合内容警告 - 在安全的页面加载不安全的内容
- 如何在Kerberos环境使用Flume采集Kafka数据并写入HDFS
- JavaScript 教程
- JavaScript 编辑工具
- JavaScript 与HTML
- JavaScript 与Java
- JavaScript 数据结构
- JavaScript 基本数据类型
- JavaScript 特殊数据类型
- JavaScript 运算符
- JavaScript typeof 运算符
- JavaScript 表达式
- JavaScript 类型转换
- JavaScript 基本语法
- JavaScript 注释
- Javascript 基本处理流程
- Javascript 选择结构
- Javascript if 语句
- Javascript if 语句的嵌套
- Javascript switch 语句
- Javascript 循环结构
- Javascript 循环结构实例
- Javascript 跳转语句
- Javascript 控制语句总结
- Javascript 函数介绍
- Javascript 函数的定义
- Javascript 函数调用
- Javascript 几种特殊的函数
- JavaScript 内置函数简介
- Javascript eval() 函数
- Javascript isFinite() 函数
- Javascript isNaN() 函数
- parseInt() 与 parseFloat()
- escape() 与 unescape()
- Javascript 字符串介绍
- Javascript length属性
- javascript 字符串函数
- Javascript 日期对象简介
- Javascript 日期对象用途
- Date 对象属性和方法
- Javascript 数组是什么
- Javascript 创建数组
- Javascript 数组赋值与取值
- Javascript 数组属性和方法
- 视频高清直播RTMP视频推流组件EasyRTMP-IOS版如何使用wchar_t*类型参数?
- 简单的谷歌插件开发记录
- ElementUI的DatePicker(日期选择器)限定范围的玩法
- ThreeJS实现船行效果
- CSS实现简易翻书效果
- EggJS给Vue单页面提供静态服务
- [翻译]Pexels免费图片API文档
- 如何搭建一个高可用的服务端渲染工程
- [Go] Golang练习项目-GO语言实现插入排序
- vue3+webpack项目搭建实验
- HTML中p标签中插入div标签会发生什么
- K8S 在有赞 PaaS 测试环境中的实践
- Netty高级篇
- SQL工具集-查询会话等待
- 哈工大李志军操作系统实验1