从100万条数据中找到极大值所在行
时间:2022-07-23
本文章向大家介绍从100万条数据中找到极大值所在行,主要内容包括其使用实例、应用技巧、基本知识点总结和需要注意事项,具有一定的参考价值,需要的朋友可以参考一下。
问题描述
今天在星球里看到了这道题,题目的详细见下图。
授信表(t_credit)的表结构:
字段 |
类型 |
描述 |
---|---|---|
credit_ts |
Date |
授信时间 |
source_ch |
String |
客户来源渠道 |
customer_id |
Integer |
客户ID |
amount |
Float |
客户额度 |
这道题目给出的两个信息需要特别关注:
- 授信表的数据有 100万;
- 最终结果只需要展示每个渠道的最后授信时间所在的行记录(100 条左右)。
解决方案
一般涉及到获取极大值/极小值的所在行记录的需求都可以用窗口函数来解决。
先对表数据按照客户来源渠道分组,再对分组内的数据按照授信时间降序排序,序号排在第一位的记录就是我们要找的记录。
具体的 SQL 实现如下:
SELECT
credit_ts,
source_ch,
customer_id,
amount
FROM
(SELECT
*,
rank () over (
PARTITION BY source_ch
ORDER BY credit_ts DESC
) AS rn
FROM
t_credit) t
WHERE rn = 1
考虑到同一个渠道内的授信时间可能有重复,没有使用窗口函数 row_number()
,而是使用了 rank()
,也可以使用 dense_rank()
。
不过,由于 t_credit 表的数据量有 100万,而最终要查找的结果只有 100 条左右,使用窗口函数排序会有性能问题。如果对查询响应的时间有要求,可以考虑下面的方案。
首先,找到每个渠道的最后授信时间,这步的结果暂存在临时表 t 中,临时表 t 只有 100 条数据。然后,t 再和 t_credit 关联,获取到 t 中 100 条记录的明细信息(由于可能存在授信时间重复的记录,因此最终的结果有可能超过 100 条)。
每个渠道的最后授信时间可通过下面的 SQL 得到:
SELECT
source_ch,
MAX(credit_ts) AS max_credit_ts
FROM
t_credit
GROUP BY source_ch
t 和 t_credit 关联获取到完整的结果:
SELECT
t_credit.*
FROM
t_credit
INNER JOIN
(SELECT
source_ch,
MAX(credit_ts) AS max_credit_ts
FROM
t_credit
GROUP BY source_ch) t
ON t.source_ch = t_credit.source_ch
AND t.max_credit_ts = t_credit.credit_ts
- 苹果为你的心跳开发一个读者
- 建立可扩展的silverlight 应用框架 step-5
- 安卓 iOS 版双双更新!还带来一大波小游戏
- 建立可扩展的silverlight 应用框架 step-4
- 全自动驾驶,吹牛容易实现难!有90%的人都不了解这些细节
- .NET4.0下web应用程序用UrlRewriter.dll重写无后缀路径
- Silverlight中摄像头的运用—part2
- 区块链小白投资入门操作指南(上)
- 《我的WCF之旅》博文系列汇总
- 网站出现“Service Unavailable”提示该如何解决
- Silverlight 4 中摄像头的运用—part1
- Silverlight 4 中摄像头的运用—part1
- Silverlight 4 中数据绑定发生的变化
- 未来3年 人工智能如何影响法律行业?5位权威专家给出趋势
- JavaScript 教程
- JavaScript 编辑工具
- JavaScript 与HTML
- JavaScript 与Java
- JavaScript 数据结构
- JavaScript 基本数据类型
- JavaScript 特殊数据类型
- JavaScript 运算符
- JavaScript typeof 运算符
- JavaScript 表达式
- JavaScript 类型转换
- JavaScript 基本语法
- JavaScript 注释
- Javascript 基本处理流程
- Javascript 选择结构
- Javascript if 语句
- Javascript if 语句的嵌套
- Javascript switch 语句
- Javascript 循环结构
- Javascript 循环结构实例
- Javascript 跳转语句
- Javascript 控制语句总结
- Javascript 函数介绍
- Javascript 函数的定义
- Javascript 函数调用
- Javascript 几种特殊的函数
- JavaScript 内置函数简介
- Javascript eval() 函数
- Javascript isFinite() 函数
- Javascript isNaN() 函数
- parseInt() 与 parseFloat()
- escape() 与 unescape()
- Javascript 字符串介绍
- Javascript length属性
- javascript 字符串函数
- Javascript 日期对象简介
- Javascript 日期对象用途
- Date 对象属性和方法
- Javascript 数组是什么
- Javascript 创建数组
- Javascript 数组赋值与取值
- Javascript 数组属性和方法
- SAP Spartacus中Angular json pipe的工作原理
- 02.Android崩溃Crash库之App崩溃分析
- mysql事务的实现原理
- 如何通过outlet在SAP Spartacus的产品明细页面插入自定义UI
- 防盗链的原理以及实现
- Python如何根据日期判断周几
- http常见状态码
- golang time相关总结
- [白话解析] 深入浅出熵的概念 & 决策树之ID3算法
- [白话解析] 深入浅出边缘计算
- 变废为宝 | 旧电脑变云数据中心 | Esxi 配置
- 【Java面试总结】Java基础(上篇)
- Esxi安装LEDE(OpenWrt) | 旧电脑变庞路由
- [白话解析] 深入浅出贝叶斯定理
- LEDE(OpenWrt)安装openclash |旁路由技巧 | 配置网络流量全部通过旁路由