一、了解Scrapy
零、什么是 Scrapy
Scrapy 是一个用于爬取网站并提取结构化数据的高效爬虫框架,它可以用于各种应用程序/项目,比如数据挖掘、信息处理和档案处理等。最初设计 Scrapy 是用来爬取 Web 数据的,但是现在也可以将它用于爬取 API 信息和作为通用 Web 搜索器来提取数据。
一、演示项目
为了向您展示Scrapy带来的好处,我将使用最简单的方式介绍 Scrapy 的示例。下面我们以爬取 http://quotes.toscrape.com/ 网站为例。
import scrapy
class QuotesSpider(scrapy.Spider):
name = 'quotes'
start_urls = [
'http://quotes.toscrape.com/tag/humor/',
]
def parse(self, response):
for quote in response.css('div.quote'):
yield {
'text': quote.css('span.text::text').get(),
'author': quote.xpath('span/small/text()').get(),
}
next_page = response.css('li.next a::attr("href")').get()
if next_page is not None:
yield response.follow(next_page, self.parse)
将上述代码存储在 quotes_spider.py 文件中,然后使用 runspider
命令来运行这个程序。
scrapy runspider quotes_spider.py -o quotes.json
上述命令执行完成后将会在 quotes_spider.py 的同级目录中出现一个 quotes.json 文件,文件包括作者信息和文本信息,部分内容如下。
[{
"author": "Jane Austen",
"text": "u201cThe person, be it gentleman or lady, who has not pleasure in a good novel, must be intolerably stupid.u201d"
},
{
"author": "Groucho Marx",
"text": "u201cOutside of a dog, a book is man's best friend. Inside of a dog it's too dark to read.u201d"
},
{
"author": "Steve Martin",
"text": "u201cA day without sunshine is like, you know, night.u201d"
}]
当运行上述命令时, Scrapy 会在其中查找 Spider 定义,并通过内含的搜索器引擎来运行它。程序开始运行时,会对 start_urls 属性中定义的 URL 发送请求,并将响应结果作为参数传递给默认的回调方法 parse ,在 parse 中我们使用 CSS 选择器遍历 quote 元素,生成包含从响应结果中提取出的文本信息和作者,并查找下一页的链接,最后使用和回调函数相同的方法去请求下一页。 目前为止你可以看到 Scrapy 的主要优势之一:请求是异步调度和处理的。这意味着 Scrapy 无需等待请求完成和处理,它可以同时发送另一个请求或执行其他操作。也意味着即使某些请求失败或在处理过程中发生错误,其他请求也可以继续执行。尽管这这样能够进行非常快的爬取网页,但是还可以通过一些设置来限制爬取网站的方式。例如可以执行以下操作:设置每个请求之间的下载延迟,限制每个域或每个IP的并发请求数量。
二、其他内容
现在你已经了解了如何使用 Scrapy 从网站提取数据以及存储项目了,但这仅仅是冰山一角。Scrapy 提供了许多强大的功能,使得抓取网页变得简单而有效,例如:
- 使用扩展的 CSS 选择器和 XPath 表达式从HTML/XML源中选择和提取数据,以及使用正则表达式提取的辅助方法;
- 具有一个交互式的 Shell 控制台,用于测试编写的 CSS 和 XPath 表达式的效果,这在编写或调试 Spider 时非常有用;
- 内置多种数据保存格式;
- 强大的编码支持和自动检测功能,用于处理外来的非标准的和存在问题的编码声明;
- 强大的可扩展性支持,可以使用 signals 和 AP I来插入自己编写的功能。
- 广泛的内置扩展和中间件用于处理:
- Cookie和会话处理
- HTTP功能,如压缩,身份验证,缓存
- 用户代理欺骗
- robots.txt
- 爬行深度限制
- and more
- 具有 Telnet 控制台,用于链接在 Scrapy 进程内运行的 Python 控制台来调试爬虫程序;
- 其他可重复使用的东西,如可以从 Sitemaps 和 XML/CSV 源爬取内容,自动下载与被抓取的项目关联的图像(或任何其他媒体)的媒体管道,缓存的DNS解析器等等!
三、接下来
接下来的步骤是安装 Scrapy,请按照本教程了解如何创建全面的刮刮项目并加入社区 S解析器等等!
三、接下来
接下来的步骤是安装 Scrapy,请按照本教程了解如何创建全面的刮刮项目并加入社区
- 使用pt工具检测MySQL主从延迟(r12笔记第7天)
- WordPress发布/更新文章、提交/审核评论自动清理VeryCloud缓存
- MySQL中的binlog和redo浅析(r12笔记第5天)
- WordPress发布/更新文章、提交/审核评论自动清理腾讯云CDN缓存
- 使用sysbench压力测试MySQL(一)(r11笔记第3天)
- 分享一下php7和其他php多版本共存的配置教程
- 使用sysbench压力测试MySQL(二)
- 使用sysbench压力测试MySQL(三)(r12笔记第6天)
- 解决IE响应式的解决方案css3-mediaqueries.js不生效问题
- MySQL传输表空间小结(r12笔记第2天)
- swingbench压测Oracle小记(r12笔记第20天)
- 分享最近对网站外链跳转页面代码的一些改善
- swingbench压测Oracle小记(r12笔记第19天)
- Oracle闪回原理测试(三)(r12笔记第16天)
- JavaScript 教程
- JavaScript 编辑工具
- JavaScript 与HTML
- JavaScript 与Java
- JavaScript 数据结构
- JavaScript 基本数据类型
- JavaScript 特殊数据类型
- JavaScript 运算符
- JavaScript typeof 运算符
- JavaScript 表达式
- JavaScript 类型转换
- JavaScript 基本语法
- JavaScript 注释
- Javascript 基本处理流程
- Javascript 选择结构
- Javascript if 语句
- Javascript if 语句的嵌套
- Javascript switch 语句
- Javascript 循环结构
- Javascript 循环结构实例
- Javascript 跳转语句
- Javascript 控制语句总结
- Javascript 函数介绍
- Javascript 函数的定义
- Javascript 函数调用
- Javascript 几种特殊的函数
- JavaScript 内置函数简介
- Javascript eval() 函数
- Javascript isFinite() 函数
- Javascript isNaN() 函数
- parseInt() 与 parseFloat()
- escape() 与 unescape()
- Javascript 字符串介绍
- Javascript length属性
- javascript 字符串函数
- Javascript 日期对象简介
- Javascript 日期对象用途
- Date 对象属性和方法
- Javascript 数组是什么
- Javascript 创建数组
- Javascript 数组赋值与取值
- Javascript 数组属性和方法
- AUCell:在单细胞转录组中识别细胞对“基因集”的响应
- linux查看硬件配置命令的方法示例
- Ubuntu环境编译安装PHP和Nginx的方法
- Ubuntu环境源码编译安装xdebug的方法
- CNS图表复现07—原来这篇文章有两个单细胞表达矩阵
- CentOS 7.x 安装 ZSH 终端的配置方法
- centos7 安装mysql和mysqlclient遇到的坑总结
- iOS音视频接入- TRTC计费及套餐介绍
- Linux简介及最常用命令(简单易学,但能解决95%以上的问题)
- Linux一行命令处理批量文件详解
- Linux中jar包启动和jar包后台运行的实现方式
- Linux下实现不活动用户登录超时后自动登出
- Centos7下nginx的安装与配置教程详解
- Linux上进行常用软件的配置方法
- Ubuntu系统下网络配置文件解析与说明