Python爬虫练习:爬取素材网站数据
时间:2022-07-26
本文章向大家介绍Python爬虫练习:爬取素材网站数据,主要内容包括其使用实例、应用技巧、基本知识点总结和需要注意事项,具有一定的参考价值,需要的朋友可以参考一下。
前言
本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理。
在工作中的电子文案、ppt,生活中的新闻、广告,都离不开大量的素材,而素材网站随之应运而生
先看下效果图
而今天的爬取目标是素材网站
http://www.sccnn.com/
基本环境配置
- python 3.6
- pycharm
- requests
- parsel
爬虫代码
请求网页
import requests
import reurl = 'http://www.sccnn.com/shiliangtuku/default({}).html'.format(page)
headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Safari/537.36'
}response = requests.get(url=url, headers=headers)
response.encoding = response.apparent_encoding
分析网页,解析数据
import parsel
r = re.findall('<a href="(.*?)" target="_blank">', response.text)
for i in urls:
page_url = 'http://www.sccnn.com' + i
response_2 = requests.get(url=page_url, headers=headers)
response_2.encoding = response_2.apparent_encoding selector = parsel.Selector(response_2.text) title = selector.css('#LeftBox h2::text').get()
img_url = selector.css('#LeftBox .PhotoDiv img::attr(src)').get()
保存数据
def downlaod(title, url):
path = 'D:\python\demo\素材网站\img\' + title + '.jpg'
response = requests.get(url=url, headers=headers)
with open(path, mode='wb') as f:
f.write(response.content)
print('正在下载{}'.format(title))
运行效果:
- 服务器端Javascript
- ASP连接数据库
- 彻底隐藏你HTML网页的源代码
- java学习:JMM(java memory model)、volatile、synchronized、AtomicXXX理解
- 使用CSS制作文字环绕图片效果(文字内容包含<li>标签)
- ClojureScript魔法堂:搭建开发环境
- PHP error_reporting() 错误控制函数功能详解
- centos上安装elasticsearch 5.5.1 遇到的各种坑
- 概率论08 随机变量的函数
- @Transactional导致AbstractRoutingDataSource动态数据源无法切换的解决办法
- 防F12扒代码:按下F12关闭当前页面
- TCP/IP(七)之玩转HTTP协议
- Android的历史与花边
- 意译:《JVM Internals》
- JavaScript 教程
- JavaScript 编辑工具
- JavaScript 与HTML
- JavaScript 与Java
- JavaScript 数据结构
- JavaScript 基本数据类型
- JavaScript 特殊数据类型
- JavaScript 运算符
- JavaScript typeof 运算符
- JavaScript 表达式
- JavaScript 类型转换
- JavaScript 基本语法
- JavaScript 注释
- Javascript 基本处理流程
- Javascript 选择结构
- Javascript if 语句
- Javascript if 语句的嵌套
- Javascript switch 语句
- Javascript 循环结构
- Javascript 循环结构实例
- Javascript 跳转语句
- Javascript 控制语句总结
- Javascript 函数介绍
- Javascript 函数的定义
- Javascript 函数调用
- Javascript 几种特殊的函数
- JavaScript 内置函数简介
- Javascript eval() 函数
- Javascript isFinite() 函数
- Javascript isNaN() 函数
- parseInt() 与 parseFloat()
- escape() 与 unescape()
- Javascript 字符串介绍
- Javascript length属性
- javascript 字符串函数
- Javascript 日期对象简介
- Javascript 日期对象用途
- Date 对象属性和方法
- Javascript 数组是什么
- Javascript 创建数组
- Javascript 数组赋值与取值
- Javascript 数组属性和方法