十一假期快到了,不知道该去哪玩?爬取旅游攻略
时间:2022-07-26
本文章向大家介绍十一假期快到了,不知道该去哪玩?爬取旅游攻略,主要内容包括其使用实例、应用技巧、基本知识点总结和需要注意事项,具有一定的参考价值,需要的朋友可以参考一下。
前言
本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理。
穷游网提供原创实用的出境游旅行指南、攻略,旅行社区和问答交流平台,以及智能的旅行规划解决方案同时提供签证、保险、机票、酒店预订、租车等在线增值服务。
穷游“鼓励和帮助中国旅行者以自己的视角和方式体验世界”。 今天教大家获取穷游网的城市信息,使用Python将数据写入csv文档。
前基本环境配置
- python 3.6
- pycharm
- requests
- parsel
- csv
爬虫代码
导入需要用到的工具
import requests
import parsel
import csv
请求网页
url = 'https://place.qyer.com/china/citylist-0-0-{}/'.format(str(page))
headers = {'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/85.0.4183.121 Safari/537.36'}
response = requests.get(url=url, headers=headers)
html_data = response.text
解析网页,爬取数据
for li in lis:
travel_place = li.xpath('.//h3/a/text()').get() # 目的地
travel_people = li.xpath('.//p[@class="beento"]/text()').get() # 去过的人数
travel_hot = li.xpath('.//p[@class="pois"]/a/text()').getall() # 热门景点
travel_hot = [hot.strip() for hot in travel_hot]
travel_hot = '、'.join(travel_hot)
travel_url = li.xpath('.//h3/a/@href').get() # 目的地详情页url
travel_imgUrl = li.xpath('./p/a/img/@src').get() # 目的地详情页url
print(travel_place, travel_people, travel_hot
保存数据
with open('data.csv', mode='a', encoding='utf-8', newline='') as f:
csv_write = csv.writer(f)
csv_write.writerow([travel_place, travel_people, travel_hot, travel_url, travel_imgUrl])
# 想要完整源码的请管制我微信公众号:松鼠爱吃饼干
# 发送信息“穷游”,即可免费获取
运行代码,效果如下图
- JavaScript 教程
- JavaScript 编辑工具
- JavaScript 与HTML
- JavaScript 与Java
- JavaScript 数据结构
- JavaScript 基本数据类型
- JavaScript 特殊数据类型
- JavaScript 运算符
- JavaScript typeof 运算符
- JavaScript 表达式
- JavaScript 类型转换
- JavaScript 基本语法
- JavaScript 注释
- Javascript 基本处理流程
- Javascript 选择结构
- Javascript if 语句
- Javascript if 语句的嵌套
- Javascript switch 语句
- Javascript 循环结构
- Javascript 循环结构实例
- Javascript 跳转语句
- Javascript 控制语句总结
- Javascript 函数介绍
- Javascript 函数的定义
- Javascript 函数调用
- Javascript 几种特殊的函数
- JavaScript 内置函数简介
- Javascript eval() 函数
- Javascript isFinite() 函数
- Javascript isNaN() 函数
- parseInt() 与 parseFloat()
- escape() 与 unescape()
- Javascript 字符串介绍
- Javascript length属性
- javascript 字符串函数
- Javascript 日期对象简介
- Javascript 日期对象用途
- Date 对象属性和方法
- Javascript 数组是什么
- Javascript 创建数组
- Javascript 数组赋值与取值
- Javascript 数组属性和方法
- R语言数据可视化分析案例:探索BRFSS数据
- R语言探索BRFSS数据可视化
- 基于ThinkPhp6.0+Vue 开发的一套免费开源新零售商城系统
- Kubernetes之RBAC权限管理
- 这是一份 pip 常用命令小结~
- 聊聊claudb的Database
- WebSocket 初识篇
- (一)MessageQueue之消息入队
- 宇智波程序笔记2-kafka 生产发送消息失败无响应,
- 高并发系统三大利器之缓存
- Nuxt.js框架(SSR)学习笔记
- 也谈状态模式
- BFE.dev前端刷题1 - 实现curry()
- BFE.dev前端刷题2 - 实现curry() 并支持placeholder
- TKE集群日志解决方案之日志采集