python爬取链家租房之获取北京所有区的网站分栏地址(第一次写,code太粗犷,欢迎提建议)
时间:2022-05-08
本文章向大家介绍python爬取链家租房之获取北京所有区的网站分栏地址(第一次写,code太粗犷,欢迎提建议),主要内容包括其使用实例、应用技巧、基本知识点总结和需要注意事项,具有一定的参考价值,需要的朋友可以参考一下。
__author__ = 'Lee'
import requests
from bs4 import BeautifulSoup
url_list = 'https://bj.lianjia.com/zufang/'
url_list1 = 'https://bj.lianjia.com'
area_list = []
headers = {
'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36',
'Cookie':'zufang_huodong_show=1; lianjia_uuid=5382c1b6-d6ca-47d1-9d94-fa1dbc834a92; UM_distinctid=15c81d9262f1f-006143a03563a5-5393662-144000-15c81d92631225; select_city=110000; _jzqy=1.1496827112.1497081788.1.jzqsr=baidu.-; _jzqckmp=1; all-lj=1e9f8fe64a0d8d4cd8642eafcff9cfff; _jzqx=1.1497156954.1497156954.1.jzqsr=captcha%2Elianjia%2Ecom|jzqct=/.-; CNZZDATA1253477573=511845211-1496852558-https%253A%252F%252Fwww.lianjia.com%252F%7C1497181716; _smt_uid=5937c502.2a3ce711; CNZZDATA1254525948=2045919104-1496852507-https%253A%252F%252Fwww.lianjia.com%252F%7C1497182934; CNZZDATA1255633284=200718649-1496852692-https%253A%252F%252Fwww.lianjia.com%252F%7C1497180541; CNZZDATA1255604082=1396707825-1496855343-https%253A%252F%252Fwww.lianjia.com%252F%7C1497185090; _qzja=1.1476077399.1496827137642.1497140960523.1497156953782.1497156953782.1497156965945.0.0.0.21.4; _qzjb=1.1497156953781.2.0.0.0; _qzjc=1; _qzjto=5.2.0; _jzqa=1.3587254022940067300.1496827112.1497140960.1497156954.4; _jzqc=1; _jzqb=1.2.10.1497156954.1; _ga=GA1.2.118746223.1496827120; _gid=GA1.2.968075510.1497081790; lianjia_ssid=253b9cec-863e-41d4-a745-090d3a031bd7'
}
proxies = {"http": "http://119.57.105.241:8080"}
wb_data = requests.get(url_list)
soup = BeautifulSoup(wb_data.text,'lxml')
area = soup.select('#filter-options > dl > dd > div > a ' )
area_len = len(area)
for i in area:
# area_list.append(area[i].get('href'))
area_list.append(i.get('href'))
#print(i.get('href'))
area_list1 = area_list[1:18]
print(area_list1)
area_list2 = area_list[18:20]
area_item1 = str(area_list2).split('m')[1].split("'")[0]
area_item2 = str(area_list2).split('m')[2].split("'")[0]
area_list2 = list(area_list1)
area_list2.append(area_item1)
area_list2.append(area_item2)
print(area_list2)
for i in area_list2:
print(url_list1+i)
'''
https://bj.lianjia.com/zufang/dongcheng/
https://bj.lianjia.com/zufang/xicheng/
https://bj.lianjia.com/zufang/chaoyang/
https://bj.lianjia.com/zufang/haidian/
https://bj.lianjia.com/zufang/fengtai/
https://bj.lianjia.com/zufang/shijingshan/
https://bj.lianjia.com/zufang/tongzhou/
https://bj.lianjia.com/zufang/changping/
https://bj.lianjia.com/zufang/daxing/
https://bj.lianjia.com/zufang/yizhuangkaifaqu/
https://bj.lianjia.com/zufang/shunyi/
https://bj.lianjia.com/zufang/fangshan/
https://bj.lianjia.com/zufang/mentougou/
https://bj.lianjia.com/zufang/pinggu/
https://bj.lianjia.com/zufang/huairou/
https://bj.lianjia.com/zufang/miyun/
https://bj.lianjia.com/zufang/yanqing/
https://bj.lianjia.com/zufang/yanjiao/
https://bj.lianjia.com/zufang/xianghe/
'''
- NSA(美国国安局)泄漏Exploit分析
- 详解Windows Shim的攻防利用
- 基于Github的源码白盒扫描工具Raptor
- 把业务逻辑变成数据结构和SQL语句的例子。自然架构改成自然框架
- 【自然框架】之通用权限(六):权限到节点
- 【自然框架】之“元数据”的威力
- 周末娱乐:讲真,这才是我所说黑客的定义!
- 数据访问函数库的使用方法(一)——添加修改数据
- 数据访问函数库的使用方法(二)—— 获取记录集和使用事务的方法
- “数据访问函数库”(DataAccessLibrary for .net2.0 )源代码下载 09.06.15更新
- 数据访问函数库 for ado.net2.0
- 【问底】静行:FastJSON实现详解
- 分页解决方案 —— GridView + QuickPager + QuickPager_SQL + DataAccessLibrary + 数据库
- 使用接口来统一控件的取值、赋值和初始化
- JavaScript 教程
- JavaScript 编辑工具
- JavaScript 与HTML
- JavaScript 与Java
- JavaScript 数据结构
- JavaScript 基本数据类型
- JavaScript 特殊数据类型
- JavaScript 运算符
- JavaScript typeof 运算符
- JavaScript 表达式
- JavaScript 类型转换
- JavaScript 基本语法
- JavaScript 注释
- Javascript 基本处理流程
- Javascript 选择结构
- Javascript if 语句
- Javascript if 语句的嵌套
- Javascript switch 语句
- Javascript 循环结构
- Javascript 循环结构实例
- Javascript 跳转语句
- Javascript 控制语句总结
- Javascript 函数介绍
- Javascript 函数的定义
- Javascript 函数调用
- Javascript 几种特殊的函数
- JavaScript 内置函数简介
- Javascript eval() 函数
- Javascript isFinite() 函数
- Javascript isNaN() 函数
- parseInt() 与 parseFloat()
- escape() 与 unescape()
- Javascript 字符串介绍
- Javascript length属性
- javascript 字符串函数
- Javascript 日期对象简介
- Javascript 日期对象用途
- Date 对象属性和方法
- Javascript 数组是什么
- Javascript 创建数组
- Javascript 数组赋值与取值
- Javascript 数组属性和方法
- TiKV源码解析系列文章(二十)Region Split源码解析
- scrapy爬虫框架和selenium的使用:对优惠券推荐网站数据LDA文本挖掘
- 单性状动物模型矩阵形式计算BLUP值
- 如何计算一般配合力和特殊配合力
- 【29期】Java集合框架 10 连问,你有被问过吗?
- 学徒数据挖掘之谁说生存分析一定要按照表达量中位值或者平均值分组呢?
- 软件质量的黄金准则
- 你应该了解的5种TypeScript设计模式
- Vue.js 教程:构建一个特斯拉汽车余电计算器
- 文件系统:隐匿在 Linux 背后的机制
- MySQL在Docker环境下运行基础
- Redis 秒杀实战
- Oracle 19c集群重装步骤详解
- 神经网络训练中回调函数的实用教程
- DGA域名检测的数据分析与深度学习分类