7.02-bs4_btc
时间:2022-07-25
本文章向大家介绍7.02-bs4_btc,主要内容包括其使用实例、应用技巧、基本知识点总结和需要注意事项,具有一定的参考价值,需要的朋友可以参考一下。
import requests
from bs4 import BeautifulSoup
from lxml import etree
import json
class BtcSpider(object):
def __init__(self):
self.url = 'http://8btc.com/forum-61-{}.html'
self.headers = {
"User-Agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.77 Safari/537.36"}
# 保存列表页的数据
self.data_list = []
self.data_detail = []
# 1.发请求
def get_response(self, url):
response = requests.get(url, headers=self.headers)
data = response.content
return data
# 2.解析数据list
def parse_list_data(self, data):
# 1.转类型
soup = BeautifulSoup(data, 'lxml')
# 2.解析内容 取出 所有的类选择器的 A
title_list = soup.select('.xst')
for title in title_list:
list_dict_data = {}
list_dict_data['title'] = title.get_text()
list_dict_data['detail_url'] = title.get('href')
self.data_list.append(list_dict_data)
# 3.解析数据详情页
def parse_detail_data(self, data):
html_data = BeautifulSoup(data, 'lxml')
# 取出问题--list[1][0]
question = html_data.select('#thread_subject')[0].get_text()
print(question)
answer_list = html_data.select('.t_f')
for answer in answer_list:
answer_list = []
answer_list.append(answer.get_text())
detail_data = {
"question": question,
"answer": answer_list
}
self.data_detail.append(detail_data)
# 3.保存数据
def save_data(self, data, file_path):
data_str = json.dumps(data)
with open(file_path, 'w') as f:
f.write(data_str)
def start(self):
# 列表页的请求
for i in range(1, 2):
url = self.url.format(1)
data = self.get_response(url)
self.parse_list_data(data)
self.save_data(self.data_list, "04list.json")
# 发送详情页的请求
for data in self.data_list:
detail_url = data['detail_url']
detail_data = self.get_response(detail_url)
# 解析详情页的数据
self.parse_detail_data(detail_data)
self.save_data(self.data_detail, 'detail.json')
BtcSpider().start()
"""
html_data = etree.HTML(data)
result_list = html_data.xpath('//div[contains(@id,"stickthread")]')
result_list = html_data.xpath('//head/following-sibling::*[1]')
print(len(result_list))
print(result_list)
"""
- springboot mybatis优雅的添加多数据源
- java通过shield链接Elasticsearch
- 使用LSTM预测比特币价格
- Redis密码设置与访问限制(网络安全)
- Elasticsearch-sql 用SQL查询Elasticsearch
- python使用装饰器@函数式化django开发
- python 设计模式,“多”例模式
- 怎样把微信聊天记录导出备份到电脑【微信公众平台技巧】
- zookeeper curator选主(Leader)
- zookeeper curator使用caches实现各种监听
- python apschedule安装使用与源码分析
- 数据迁移过程中hive sql调优
- 词序:神经网络能按正确的顺序排列单词吗?
- 使用spark对hive表中的多列数据判重
- JavaScript 教程
- JavaScript 编辑工具
- JavaScript 与HTML
- JavaScript 与Java
- JavaScript 数据结构
- JavaScript 基本数据类型
- JavaScript 特殊数据类型
- JavaScript 运算符
- JavaScript typeof 运算符
- JavaScript 表达式
- JavaScript 类型转换
- JavaScript 基本语法
- JavaScript 注释
- Javascript 基本处理流程
- Javascript 选择结构
- Javascript if 语句
- Javascript if 语句的嵌套
- Javascript switch 语句
- Javascript 循环结构
- Javascript 循环结构实例
- Javascript 跳转语句
- Javascript 控制语句总结
- Javascript 函数介绍
- Javascript 函数的定义
- Javascript 函数调用
- Javascript 几种特殊的函数
- JavaScript 内置函数简介
- Javascript eval() 函数
- Javascript isFinite() 函数
- Javascript isNaN() 函数
- parseInt() 与 parseFloat()
- escape() 与 unescape()
- Javascript 字符串介绍
- Javascript length属性
- javascript 字符串函数
- Javascript 日期对象简介
- Javascript 日期对象用途
- Date 对象属性和方法
- Javascript 数组是什么
- Javascript 创建数组
- Javascript 数组赋值与取值
- Javascript 数组属性和方法
- 深入浅出Spark的Checkpoint机制
- 基础知识 | R语言绘图保存的pdf图片无法显示中文怎么办?
- 基础知识 | R语言绘图基础之柱形图
- 高维数据 | R语言绘图基础之主成分分析
- 高维数据 |R语言数据可视化之t-SNE
- 基础知识 | R语言数据分析之控制流
- 基础知识 | R语言数据处理之日期值的转换
- 云开发 CloudBase CMS 内容管理系统正式开源啦!
- 高维数据 | R语言数据可视化之热力图
- 高维数据 | R语言数据可视化之日历图
- 打卡群刷题总结0804——二叉树的中序遍历
- 基础知识 | R语言数据管理之SQL语句
- 文本挖掘| 某作者文章的词频统计排序
- spring注解配置之@Configuration
- TS核心知识点总结及项目实战案例分析