关于「入海」,大家都说了些什么?
时间:2022-07-23
本文章向大家介绍关于「入海」,大家都说了些什么?,主要内容包括其使用实例、应用技巧、基本知识点总结和需要注意事项,具有一定的参考价值,需要的朋友可以参考一下。
引言
一直想抓取一下qq音乐的评论,碰巧最近毛不易出了一首新歌 「入海」,因此就来爬取一下这首歌发布以来的2万多条评论,看看大多数人听了这首歌之后都说了点什么。
相关文件
- 爬虫文件:公众号 拇指笔记 后台回复 入海 获取。
- 可视化文件:公众号 拇指笔记 后台回复 入海 获取。
相关模块
requests:爬取网页信息
bs4:解析网页
jieba:分词和统计词频
pyecharts:数据可视化
可视化分析
关于 「入海」 ,评论中出现最多的两个词是「毕业」和「我们」,分别出现了4465次和4087次,平均每六条评论就出现一次「毕业」和「我们」。毕竟这首歌听着听着,就让人情不自禁的想到了毕业。
在24206条评论中,一共有9020条评论在凌晨一点被发出,我推测可能是因为这个时间大家都比较容易伤感,尤其是听这种带有回忆色彩的歌。
这首歌是5.20发出的,有接近2/3的评论在这一天被发出,之后评论数开始下降。因为爬取的时间是31号中午,所以31号的评论数比较少。
功能实现
由于这次抓取的数据比较多,因此没有采用效率低下的selenium库
而是使用了更快的requests
库来抓取评论内容,qq音乐的评论区信息并不能在页面源代码中获取,是一个post加载的页面,通过抓包可以确定每页评论的request url为
https://c.y.qq.com/base/fcgi-bin/fcg_global_comment_h5.fcg?g_tk_new_20200303=5381&g_tk=5381&loginUin=0&hostUin=0&format=json&inCharset=utf8&outCharset=GB2312¬ice=0&platform=yqq.json&needNewCode=0&cid=205360772&reqtype=2&biztype=1&topid=265408076&cmd=8&needmusiccrit=0&pagenum=1&pagesize=25
通过改变pagenum
的值,可以获取每一页评论的信息。
抓取到的网页是标准的json格式,通过以下代码读取json数据中的评论文本和评论发布时间。
html = str(req.content,'UTF-8')
data = json.loads(html)
mes_link = data['comment']['commentlist']
for mes in mes_link:
pinglun.append(mes['rootcommentcontent'].replace('n','').replace('[/em]','').replace('[em]','').replace('e400',''))
time_data.append(mes['time'])
最后将获取的信息写入txt文本保存即可。
关于可视化部分可以参考之前的这篇文章,基本方法是完全一致的。
- ASP.NET MVC5+EF6+EasyUI 后台管理系统(30)-本地化(多语言)
- ASP.NET MVC5+EF6+EasyUI 后台管理系统(29)-T4模版
- ASP.NET MVC5+EF6+EasyUI 后台管理系统(28)-系统小结
- 用谷歌浏览器来当手机模拟器
- ASP.NET MVC5+EF6+EasyUI 后台管理系统(27)-权限管理系统-分配用户给角色
- ASP.NET MVC5+EF6+EasyUI 后台管理系统-分配角色给用户
- 体验vs11 Beta
- 构建ASP.NET MVC4+EF5+EasyUI+Unity2.x注入的后台管理系统(25)-权限管理系统-系统管理员(附生成器)
- 构建ASP.NET MVC4+EF5+EasyUI+Unity2.x注入的后台管理系统(24)-权限管理系统-将权限授权给角色
- 构建ASP.NET MVC4+EF5+EasyUI+Unity2.x注入的后台管理系统(23)-权限管理系统-角色组模块
- jQuery Gallery Plugin在Asp.Net中使用
- ASP.NET MVC5+EF6+EasyUI 后台管理系统(22)-权限管理系统-模块导航制作
- ASP.NET MVC5+EF6+EasyUI 后台管理系统(20)-权限管理系统-根据权限获取菜单
- ASP.NET MVC5+EF6+EasyUI 后台管理系统(19)-权限管理系统-用户登录
- JavaScript 教程
- JavaScript 编辑工具
- JavaScript 与HTML
- JavaScript 与Java
- JavaScript 数据结构
- JavaScript 基本数据类型
- JavaScript 特殊数据类型
- JavaScript 运算符
- JavaScript typeof 运算符
- JavaScript 表达式
- JavaScript 类型转换
- JavaScript 基本语法
- JavaScript 注释
- Javascript 基本处理流程
- Javascript 选择结构
- Javascript if 语句
- Javascript if 语句的嵌套
- Javascript switch 语句
- Javascript 循环结构
- Javascript 循环结构实例
- Javascript 跳转语句
- Javascript 控制语句总结
- Javascript 函数介绍
- Javascript 函数的定义
- Javascript 函数调用
- Javascript 几种特殊的函数
- JavaScript 内置函数简介
- Javascript eval() 函数
- Javascript isFinite() 函数
- Javascript isNaN() 函数
- parseInt() 与 parseFloat()
- escape() 与 unescape()
- Javascript 字符串介绍
- Javascript length属性
- javascript 字符串函数
- Javascript 日期对象简介
- Javascript 日期对象用途
- Date 对象属性和方法
- Javascript 数组是什么
- Javascript 创建数组
- Javascript 数组赋值与取值
- Javascript 数组属性和方法
- python在linux环境下安装skimage
- python3异步爬虫 ——aiohttp模板使用
- [PHP] 抽象工厂设计模式-创建型设计模式
- [javascript] 支付宝小程序网络GET请求
- [PHP] 生成器模式-创建型设计模式
- [PHP] 工厂方法设计模式-创建型设计模式
- [PHP] 对象池模式-创建型设计模式
- [PHP] 原型模式-创建型设计模式
- [PHP] 简单工厂模式-创建型设计模式
- [PHP] 单例模式-创建型设计模式
- [PHP] 静态工厂模式-创建型设计模式
- [PHP] 适配器模式-结构型设计模式
- [PHP] 使用curl扩展POST或者PUT时数据不全和连接中断的排查
- [PHP] 桥接模式-结构型设计模式
- [PHP] 组合模式-结构型设计模式