抓取手机app的数据(摩拜单车)
时间:2022-05-07
本文章向大家介绍抓取手机app的数据(摩拜单车),主要内容包括安装、配置、开始抓包、总结、基本概念、基础应用、原理机制和需要注意的事项等,并结合实例形式分析了其使用技巧,希望通过本文能帮助到大家理解应用这部分内容。
前几天有人私信我,问能不能帮忙抓取摩拜单车的数据。。。
我想着授人以鱼不如授人以渔,所以本次我们就讲讲如何抓取手机app的内容吧
Fiddle的安装及配置
抓手机包我用的是fiddle。
安装
- 先在下载页面下载-→https://www.telerik.com/download/fiddler
- 选择你“准备用fiddle来干嘛”
- 你的邮箱
- 以及同意“最终用户许可协议”就可以下载了
下载后按照提示安装就可以了。
配置
- 点击tool->telerik fiddler options…
- 点击connections,然后勾选 “allow remote computers to connect”,记住这边的端口号(8888)
开始抓包
- 首先确保电脑和手机连在同一个WiFi下面
- 打开fiddle
- 获取电脑ip
- 打开cmd命令行
- 输入ipconfig,如图所示,192.168.31.146就是我的ip地址
- 打开手机WiFi设置,找到你当前链接的WiFi
- 我当前链接的是Xiaomi_E172_5G
- 设置代理服务器为你电脑的ip,端口号为上面设置的端口号(默认为8888)
- 安装https证书
- 在手机浏览器上打开 你电脑ip:你设置的端口号
- 我的是192.168.31.146:8888
- 点击框框处安装证书
- 设置fiddle监听所有请求
- 选择all process
- 打开摩拜单车app
- 然后你会看到定位的时候一辆车也没有。。。
- 打开个人详情页还提示“抱歉,服务暂不可用。。。“
- 这是因为摩拜有防抓取限制(我猜是检测,如果有使用代理的话,直接让你用不了。。。)
- 那这样的话我们就没办法抓到么???
- 因为我之前还用过摩拜的小程序,所以我们抓抓微信小程序试试看
- 打开摩拜单车的小程序
- 我们看到已经定位了。。,并且把附件的单车都显示出来了
- 我们可以多移动我们的位置,然后等有把附近的车显示出来
- 可以看到fiddle上面已经有好多请求了
- 那么如何找到摩拜的那一条呢。。。
- 很简单,看单词就好。。。
- mobike-api。。。这很明显就是我们要找的请求
- 请求头如下图所示,方法是post
- 参数如下图
- 返回值因为我看到是json的格式了,所以直接以json的格式看。
- 那么直接模拟发送吧 直接看代码吧。。。
import requests
# 如果headers里面没有referer则会访问异常
# referer表示上一个页面是什么。
-
headers =
{
-
'User-Agent':
'Mozilla/5.0 (iPhone; CPU iPhone OS 10_3_1 like Mac OS X) AppleWebKit/603.1.30 (KHTML, like Gecko) Mobile/14E304 MicroMessenger/6.5.7 NetType/WIFI Language/zh_CN',
-
'Content-Type':
'application/x-www-form-urlencoded',
-
'Referer':
'https://servicewechat.com/wx80f809371ae33eda/23/page-frame.html',
}
-
url =
'https://mwx.mobike.com/mobike-api/rent/nearbyBikesInfo.do'
-
data =
{
-
'longitude':'121.1883',#
经度
-
'latitude':'31.05147',
# 纬度
-
'citycode':'021',
-
'errMsg':'getMapCenterLocation:ok'
}
# 下面必须加上verify=False,表示不验证ssl,要不然一直报错。。。
z = requests.post(url,data=data,headers=headers,verify=False)
可以看到我们已经抓取了需要的数据,那么怎么抓取整个上海的摩拜单车情况呢?? 只要获取上海的所有经纬度,然后替换上面data中的经度及纬度就可以了。。。
那么怎么获取上海的所有经纬度。。。
我发现挺难的。。。(有人拿到了请告诉我一声,谢谢)
然后我用了高德地图api的搜索功能,搜索了上海的所有小区的经纬度。一共898个,
然后查了这898个小区附件的摩拜单车情况….
总结
看完本编文章,你应该学会“如何抓取手机app的包”
其实挺简单的(就是你手机通过电脑上网,然后这台电脑上所有的请求都被抓下来了,那么你手机的请求自然也被抓下来了)
大家还可以试着抓抓知乎客户端的包。。。
更多fiddle的使用技巧,请善用百度、Google
最后所有代码在https://github.com/kimg1234/pachong/blob/master/mobai.py
- .net core快速上手
- logicaldoc的外部认证——AD集成
- CLR 4.0 安全模型
- 应用工具 .NET Portability Analyzer 分析迁移dotnet core
- 使用无觅相关文章插件一定要删除的代码
- 管理混合云环境的5个要点
- Team Foundation Server 2010 – Basic Installation
- 富文本编辑器的一键排版功能
- 通过ProGet搭建一个内部的Nuget服务器
- Mercury Editor学习心得
- 无意禁止使用:英伟达官方回应GeForce软件条款更改
- Ext JS 6 新特性和工具
- 为你的WordPress 博客文章页面增加多彩排版条
- java: web应用中不经意的内存泄露
- JavaScript 教程
- JavaScript 编辑工具
- JavaScript 与HTML
- JavaScript 与Java
- JavaScript 数据结构
- JavaScript 基本数据类型
- JavaScript 特殊数据类型
- JavaScript 运算符
- JavaScript typeof 运算符
- JavaScript 表达式
- JavaScript 类型转换
- JavaScript 基本语法
- JavaScript 注释
- Javascript 基本处理流程
- Javascript 选择结构
- Javascript if 语句
- Javascript if 语句的嵌套
- Javascript switch 语句
- Javascript 循环结构
- Javascript 循环结构实例
- Javascript 跳转语句
- Javascript 控制语句总结
- Javascript 函数介绍
- Javascript 函数的定义
- Javascript 函数调用
- Javascript 几种特殊的函数
- JavaScript 内置函数简介
- Javascript eval() 函数
- Javascript isFinite() 函数
- Javascript isNaN() 函数
- parseInt() 与 parseFloat()
- escape() 与 unescape()
- Javascript 字符串介绍
- Javascript length属性
- javascript 字符串函数
- Javascript 日期对象简介
- Javascript 日期对象用途
- Date 对象属性和方法
- Javascript 数组是什么
- Javascript 创建数组
- Javascript 数组赋值与取值
- Javascript 数组属性和方法
- Swift日常开发随笔
- vue入门003~vue项目引入element并创建一个登录页面
- vue入门002~vue项目的两种创建方式
- IntelliJ IDEA,WebStorm,PhpStorm破解到2089年
- 小程序订阅消息推送(含源码)java实现小程序推送,springboot实现微信消息推送
- 借助云开发10行代码实现短信验证码的发送
- 借助云开发实现小程序订阅消息(模板消息)推送功能
- 1小时实战入门小程序开发,历史上的今天案例讲解
- 小程序实现全屏幕高斯模糊背景图
- 小程序顶部导航栏,可滑动,可动态选中放大
- 小程序不同页面的异步回调,callback和promise的使用讲解
- java入门019~springboot批量导入excel数据到mysql
- Java点餐系统和点餐小程序新加微信消息推送功能
- Java点餐系统和点餐小程序新加排号等位功能
- IDEA上给文件添加姓名,日期,版本号