使用pyppeteer 下载chromium 报错 或速度慢
时间:2022-07-28
本文章向大家介绍使用pyppeteer 下载chromium 报错 或速度慢,主要内容包括其使用实例、应用技巧、基本知识点总结和需要注意事项,具有一定的参考价值,需要的朋友可以参考一下。
一、概述
使用Reuqests-html的render函数,它会在用户目录(默认是~/.pyppeteer/)中下载一个chromium,然后用它来执行JS代码。
执行之后,会下载chromium
[W:pyppeteer.chromium_downloader] start chromium download.
Download may take a few minutes.
但是速度特别慢,几个小时都不一定能好。长时间允许会导致连接失败。
二、手动下载chromium
创建一个.py 文件 粘贴以下内容
import pyppeteer.chromium_downloader
print('默认版本是:{}'.format(pyppeteer.__chromium_revision__))
print('可执行文件默认路径:{}'.format(pyppeteer.chromium_downloader.chromiumExecutable.get('win64')))
print('win64平台下载链接为:{}'.format(pyppeteer.chromium_downloader.downloadURLs.get('win64')))
执行输出:
默认版本是:588429
可执行文件默认路径:C:UsersxiaoAppDataLocalpyppeteerpyppeteerlocal-chromium588429chrome-win32chrome.exe
win64平台下载链接为:https://storage.googleapis.com/chromium-browser-snapshots/Win_x64/588429/chrome-win32.zip
注意:输出结果,可能和我的不一样,请根据实际情况来。
将上面的复制一下,使用迅雷下载,大概有130M,几分钟就下载好了。
将下载好的chrome-win32.zip解压,得到chrome-win32目录
注意:上面的路径:C:UsersxiaoAppDataLocalpyppeteerpyppeteerlocal-chromium588429
是不存在的,需要自己手动创建一下。其实只需要创建588429即可。
将chrome-win32目录复制到588429里面即可。
最终只要:
C:UsersxiaoAppDataLocalpyppeteerpyppeteerlocal-chromium588429chrome-win32chrome.exe
存在即可
最后再次执行你的爬虫程序,就不会提示下载chromium了
本文参考链接:
https://www.jianshu.com/p/1c4666b0a830
- WebService就是这么简单
- eclipse中hadoop2.3.0环境部署及在eclipse中直接提交mapreduce任务
- spark on yarn提交任务时一直显示ACCEPTED
- 如何恢复hadoop中被删除的文件
- 多个字段中如何按其中两个进行排序(二次排序)
- Hadoop2.3.0上部署Mahout0.10,并测试单机版与分布式版个性化推荐程序
- 总结5种比较高效常用的排序算法
- 曾经做过的40道程序设计课后习题总结(二)
- 曾经做过的40道程序设计课后习题总结(三)
- 曾经做过的40道程序设计课后习题总结(四)
- 二叉树非递归版的后序遍历算法
- 图解用栈数据结构对树的遍历
- 动态规划中篇:爬楼梯
- 动态规划:括号知多少
- JavaScript 教程
- JavaScript 编辑工具
- JavaScript 与HTML
- JavaScript 与Java
- JavaScript 数据结构
- JavaScript 基本数据类型
- JavaScript 特殊数据类型
- JavaScript 运算符
- JavaScript typeof 运算符
- JavaScript 表达式
- JavaScript 类型转换
- JavaScript 基本语法
- JavaScript 注释
- Javascript 基本处理流程
- Javascript 选择结构
- Javascript if 语句
- Javascript if 语句的嵌套
- Javascript switch 语句
- Javascript 循环结构
- Javascript 循环结构实例
- Javascript 跳转语句
- Javascript 控制语句总结
- Javascript 函数介绍
- Javascript 函数的定义
- Javascript 函数调用
- Javascript 几种特殊的函数
- JavaScript 内置函数简介
- Javascript eval() 函数
- Javascript isFinite() 函数
- Javascript isNaN() 函数
- parseInt() 与 parseFloat()
- escape() 与 unescape()
- Javascript 字符串介绍
- Javascript length属性
- javascript 字符串函数
- Javascript 日期对象简介
- Javascript 日期对象用途
- Date 对象属性和方法
- Javascript 数组是什么
- Javascript 创建数组
- Javascript 数组赋值与取值
- Javascript 数组属性和方法
- php遍历目录&删除指定文件中指定内容
- pow函数问题
- 字节序列操作函数
- 3分钟短文:Laravel是怎么发出一封电子邮件的?
- Elasticsearch 设计模式
- Spring 的 WebSecurityConfigurerAdapter 过滤器
- 03.视频播放器Api说明
- Postfix配置Gmail中继发信
- 使用Syncthing自建私有同步盘
- 05.视频播放器内核切换封装
- sklearn做特征选择
- ResilioSync:公私兼备的同步盘
- 面向对象语言的三大特征: 封装 继承 多态(二)——继承
- 教你如何设置宝塔面板 Brotli压缩
- Message: session not created: This version of ChromeDriver only supports Chrome version 83