手把手教你用Python网络爬虫获取壁纸图片
/1 前言/
想要电脑换个壁纸时都特别苦恼,因为百度搜到那些壁纸也就是分辨率达到了壁纸的水准。可是里面图片的质量嘛,实在是不忍直视…。而有些4K高清的壁纸大多是有版权的 ,这就使我们想要获取高清的图片,变得非常的困难。
wallhaven 网站是无版权的4K壁纸 ,而且主题丰富(创意、摄影、人物、动漫、绘画、视觉),今天教大家如何去批量的去下载wallhaven4K原图。
/2 项目目标/
获取对应的4K壁纸,并批量下载保存在文件夹。
/3 涉及的库和网站/
软件:PyCharm
需要用到的库:requests、lxml、fake_useragent、time
先列出网址,如下所示:
https://wallhaven.cc/search?q=id%3A65348&page={}
网址city=%E5%B9%BF%E5%B7%9E指的是广州这个城市、pn指的是页数。
/4 项目分析/
滑动鼠标观察下一页的网址的变化:
https://wallhaven.cc/search?q=id%3A65348&page=1
https://wallhaven.cc/search?q=id%3A65348&page=2
https://wallhaven.cc/search?q=id%3A65348&page=3
滑动下一页时,每增加一页page自增加1,用{}代替变换的变量,再用for循环遍历这网址,实现多个网址请求。
/5 具体实现/
1、定义一个class类继承object,定义init方法继承self,主函数main继承self。导入需要的库和网址。
import requests
from lxml import etree
from fake_useragent import UserAgent
import time
class wallhaven(object):
def __init__(self):
self.url = "https://wallhaven.cc/search?q=id%3A65348&page={}"
def main(self):
pass
if __name__ == '__main__':
imageSpider = wallhaven()
imageSpider.main()
2、fake_useragent模块实现随机产生UserAgent。
ua = UserAgent(verify_ssl=False)
for i in range(1, 50):
self.headers = {
'User-Agent': ua.random,
}
3、for循环实现多网址访问。
startPage = int(input("起始页:"))
endPage = int(input("终止页:"))
for page in range(startPage, endPage + 1):
url = self.url.format(page)
4、发送请求 获取响应。
'''发送请求 获取响应'''
def get_page(self, url):
res = requests.get(url=url, headers=self.headers)
html = res.content.decode("utf-8")
return html
5、解析一级页面,得到二级页面的 href 地址。
def parse_page(self, html):
parse_html = etree.HTML(html)
image_src_list = parse_html.xpath('//figure//a/@href')
6、遍历二级页面网址,发生请求、解析数据。找到相对于的图片地址。
html1 = self.get_page(i) # 二级页面发生请求
parse_html1 = etree.HTML(html1)
# print(parse_html1)
filename = parse_html1.xpath('//div[@class="scrollbox"]//img/@src')
# print(filename)
7、获取到的图片地址,发生请求,保存。
# 图片地址发生请求
for img in filename:
dirname = "./图/" + img[32:] '''可修改图片保存的地址'''
print(dirname)
html2 = requests.get(url=img, headers=self.headers).content
with open(dirname, 'wb') as f:
f.write(html2)
print("%s下载成功" % filename)
8、调用方法,实现功能。
html = self.get_page(url)
self.parse_page(html)
优化:设置延时。(防止ip被封)。
time.sleep(1.4) """时间延时"""
/6 效果展示/
1、点击绿色按钮运行,将结果显示在控制台,如下图所示。输起始页和终止页,回车。
2、图片下载成功控制台输出。
3、批量保存。
4、验证4K。(点击图片打开属性)
/7 小结/
1、不建议抓取太多数据,容易对服务器造成负载,浅尝辄止即可。
2、本文基于Python网络爬虫,利用爬虫库,获取wallhaven4K壁纸。
3、4K的壁纸下载时可能会有点缓慢,请大家耐心的等待。如果图片的地址不一样,需要自己修改一下图片的保存的地址。
4、大家也可以在wallhaven网址上,寻找自己喜欢图片,按照操作步骤,自己尝试去做。自己实现的时候,总会有各种各样的问题,切勿眼高手低,勤动手,才可以理解的更加深刻。
5、如果本文源码的小伙伴,请在后台回复“4K壁纸”四个字进行获取,觉得不错,记得给个Star噢~
------------------- End -------------------
- Centos系统修改时区
- zookeeper思考与总结1:在其它组件的作用及hdfs对比
- HDU----(4291)A Short problem(快速矩阵幂)
- Linux下删除指定文件之外的其他文件
- HDU----(2157)How many ways??(快速矩阵幂)
- 试试Linux下的ip命令
- hdu---(2604)Queuing(矩阵快速幂)
- centos7下卸载python后yum不能使用的恢复方法
- hdu---(5038)Grade(胡搞)
- shell生成随机字符的几种方法
- Python时间获取及转换
- spark streaming知识总结[优化]
- 让你真正明白spark streaming
- Centos7 firewalld防火墙基本操作
- JavaScript 教程
- JavaScript 编辑工具
- JavaScript 与HTML
- JavaScript 与Java
- JavaScript 数据结构
- JavaScript 基本数据类型
- JavaScript 特殊数据类型
- JavaScript 运算符
- JavaScript typeof 运算符
- JavaScript 表达式
- JavaScript 类型转换
- JavaScript 基本语法
- JavaScript 注释
- Javascript 基本处理流程
- Javascript 选择结构
- Javascript if 语句
- Javascript if 语句的嵌套
- Javascript switch 语句
- Javascript 循环结构
- Javascript 循环结构实例
- Javascript 跳转语句
- Javascript 控制语句总结
- Javascript 函数介绍
- Javascript 函数的定义
- Javascript 函数调用
- Javascript 几种特殊的函数
- JavaScript 内置函数简介
- Javascript eval() 函数
- Javascript isFinite() 函数
- Javascript isNaN() 函数
- parseInt() 与 parseFloat()
- escape() 与 unescape()
- Javascript 字符串介绍
- Javascript length属性
- javascript 字符串函数
- Javascript 日期对象简介
- Javascript 日期对象用途
- Date 对象属性和方法
- Javascript 数组是什么
- Javascript 创建数组
- Javascript 数组赋值与取值
- Javascript 数组属性和方法