爬虫的主函数该怎么写
时间:2022-05-08
本文章向大家介绍爬虫的主函数该怎么写,主要内容包括其使用实例、应用技巧、基本知识点总结和需要注意事项,具有一定的参考价值,需要的朋友可以参考一下。
主函数中是将前边写的所有函数汇总,通过多线程,将爬虫稳步有序的进行。 头文件中的那些是之前写好的做引用 用到了多线程技术,在python中,Pool函数是个好的多线程工具
__author__ = 'Lee'
from multiprocessing import Pool
from beijing_proper import channel_list
from items_combination import get_pages_url
def get_all_links_from(channel): #获取地址池中的数据并获得后执行 get_pages_url()函数
for i in range(1,50):
get_pages_url(channel,i)
if __name__ == '__main__': #固定格式,可以先不用管
pool = Pool()
pool.map(get_all_links_from,channel_list.split()) #用到了进程相关知识 map函数的作用就是 将后边的一次一次循环的和前边做“与”的操作
- SpringBoot整合Quartz定时任务 的简单实例 2
- 当spring 容器初始化完成后执行某个方法
- CentOS7安装openjdk、tomcat和mysql流程介绍
- php 知识点
- MonetDB学习笔记
- windows下 安装 rabbitMQ 及操作常用命令
- 用R语言做逻辑回归
- 当Java虚拟机遇上Linux Arena内存池
- Activiti学习——Activiti与Spring集成
- spring boot 发送邮件
- spark 2.0主要特性预览
- y叔的ChIP-seq数据分析大礼包
- springboot的Web开发-Web相关配置
- Centos7下yum安装配置nginx与php
- JavaScript 教程
- JavaScript 编辑工具
- JavaScript 与HTML
- JavaScript 与Java
- JavaScript 数据结构
- JavaScript 基本数据类型
- JavaScript 特殊数据类型
- JavaScript 运算符
- JavaScript typeof 运算符
- JavaScript 表达式
- JavaScript 类型转换
- JavaScript 基本语法
- JavaScript 注释
- Javascript 基本处理流程
- Javascript 选择结构
- Javascript if 语句
- Javascript if 语句的嵌套
- Javascript switch 语句
- Javascript 循环结构
- Javascript 循环结构实例
- Javascript 跳转语句
- Javascript 控制语句总结
- Javascript 函数介绍
- Javascript 函数的定义
- Javascript 函数调用
- Javascript 几种特殊的函数
- JavaScript 内置函数简介
- Javascript eval() 函数
- Javascript isFinite() 函数
- Javascript isNaN() 函数
- parseInt() 与 parseFloat()
- escape() 与 unescape()
- Javascript 字符串介绍
- Javascript length属性
- javascript 字符串函数
- Javascript 日期对象简介
- Javascript 日期对象用途
- Date 对象属性和方法
- Javascript 数组是什么
- Javascript 创建数组
- Javascript 数组赋值与取值
- Javascript 数组属性和方法
- Laravel 将数据表的数据导出,并生成seeds种子文件的方法
- Laravel Eloquent ORM 多条件查询的例子
- laravel5.5添加echarts实现画图功能的方法
- thinkphp5.1框架实现格式化mysql时间戳为日期的方式小结
- Laravel 创建指定表 migrate的例子
- Laravel find in set排序实例
- Laravel 对某一列进行筛选然后求和sum()的例子
- 关于laravel 数据库迁移中integer类型是无法指定长度的问题
- laravel多条件查询方法(and,or嵌套查询)
- thinkphp框架使用JWTtoken的方法详解
- Laravel创建数据库表结构的例子
- laravel按天、按小时,查询数据的实例
- 浅谈laravel中的关联查询with的问题
- 解决Laravel 不能创建 migration 的问题
- 使用tp框架和SQL语句查询数据表中的某字段包含某值