亿级数据判断 bitmap-布隆过滤器
缓存穿透
假设我们使用redis缓存了商品信息,当我们请求进来时,首先经过的是redis,当redis不存在时,才会去查找mysql.然后将mysql的数据缓存到redis.
整个流程看上去是没有任何问题的,但当前端在同一时间发生了大量请求,同时去请求一个redis,数据库都不存在的商品id,会发生什么情况呢?
1: 先去访问redis,发现redis不存在缓存
2: 查询mysql.mysql不存在缓存,则无法进行redis缓存
3: 下一次请求继续循环.....
这个情况,由于redis无法缓存数据,导致每次请求都会直接到数据库,数据库压力剧增,导致宕机.
短网址判断
短网址服务大家都应该比较熟悉,
如果有个短网址服务,现在存储了1亿条短网址.
当你访问 1.cn/arhwqwqwe 这串字符时
同缓存穿透,短网址服务器会先去请求redis缓存,当redis缓存不存在时,请求mysql数据库.....
bitmap
布隆过滤器基于 大数据存储处理-bitmap的艺术
通过 目标数据的 标识hash为位的下标,目标数据存在则为1,不存在则为0
例如:
1,3,5,6,7 5个值,在bitmap中表示为:
二进制表示为:(从右往左)
0b11101010
如果我们需要判断id 2是否存在,只需要根据2所在的位置去判断即可:
$bitmap = 0b11101010;
$goodsId = 3;
$bitToNum = 1 << $goodsId;//算出这个数字的二进制位数
echo "goodsId 2的二进制:" . decbin($bitToNum), PHP_EOL;
$tempNum = $bitmap & $bitToNum;
echo "位运算结果:" . decbin($tempNum), PHP_EOL;
if ($tempNum != $bitToNum) {
echo "商品id:{$goodsId}不存在n";
}else{
echo "商品id:{$goodsId}存在n";
}
看到这里,是不是发现有点熟悉?没错,这个是我从大数据存储处理-bitmap的艺术 复制过来的代码,可以看出,如果是商品id这种id类型的,可以直接使用bitmap判断存在或者不存在,那布隆过滤器呢?
布隆过滤器
布隆过滤器是一个非常长的bitmap组成,通过随机散列函数,将数据随机映射到bitmap的位置中.
它的存储步骤为:
1: 创建一个足够大的bitmap,例如10亿
2: 将需要判断的key,通过hash 映射函数,例如(md5(key)%10亿),将其指定到bitmap的一个位置中
3: 将bitmap该位置置为1
它的判断步骤为:
1: 将需要判断的key,通过hash映射函数,例如(md5(key)%10亿),获取其指定位置.
2: 找到bitmap的该位置,如果为0,则代码该key一定不存在,如果为1,则可能存在
php实现代码:(本文的hash函数用的是php自带的crc32算法)
<?php
/**
* Created by PhpStorm.
* User: xdd
* Date: 2020/9/21
* Time: 10:23
*/
/**
* Created by PhpStorm.
* User: apple
* Date: 2020-04-30
* Time: 14:25
*/
class BloomFilter
{
//由于php的int为64位,如果要存储10亿,或者更大的数据,需要通过多个int数组实现
protected $bitmap = [];
//一个int,只能表示0-64的数字
//10亿的数字
protected $maxNum = 1 << 30;
function add($key)
{
$hash = $this->hash($key);
$bitmapKey = $this->getBitmapKey($hash);
if (isset($this->bitmap[$bitmapKey])) {
//如果已经添加了这个数组,则直接与运算将数据加上
$this->bitmap[$bitmapKey] = $this->bitmap[$bitmapKey] | (1 << ($hash % 64));
} else {
$this->bitmap[$bitmapKey] = 1 << ($hash % 64);
}
return $hash;
}
function get($key)
{
$hash = $this->hash($key);
$bitmapKey = $this->getBitmapKey($hash);
if (isset($this->bitmap[$bitmapKey])) {
$bitToNum = 1 << ($hash % 64);//算出这个数字的二进制位数
$tempNum = $this->bitmap[$bitmapKey] & $bitToNum;
if ($tempNum != $bitToNum) {
return false;
}
return true;
} else {
return false;
}
}
function hash($key)
{
$hash = crc32($key);
//time33返回的数据是0-2^31,目前我们的设想是只存储2^30,所以取余
$hash = $hash % $this->maxNum;
return $hash;
}
function getBitmapKey($data)
{
$key = intval($data / 64);
return $key;
}
}
$bloomFilter = new BloomFilter();
$str = "测试1234";
$hash = $bloomFilter->add($str);
var_dump($bloomFilter->get($str));
var_dump($bloomFilter->get('213312'));
注意事项
需要注意的是,
布隆过滤器 重复率依靠的是hash算法,所以越完善的hash算法,分配的数据越均匀,冲突率越低
同时,布隆过滤器只能验证一个值 一定不存在或可能存在
应用场景
1:url短网址生成判断,如果不存在,则代表该url一定没有生成过,可以直接返回404
2:恶意url判断,如果存在,则表示该url可能有问题,可以进一步过滤判断
3:解决上面说的缓存穿透问题
本文为仙士可原创文章,转载无需和我联系,但请注明来自仙士可博客www.php20.cn
- 上一篇: php hash算法类
- 下一篇: mysql实现定时全量备份
- JavaScript 教程
- JavaScript 编辑工具
- JavaScript 与HTML
- JavaScript 与Java
- JavaScript 数据结构
- JavaScript 基本数据类型
- JavaScript 特殊数据类型
- JavaScript 运算符
- JavaScript typeof 运算符
- JavaScript 表达式
- JavaScript 类型转换
- JavaScript 基本语法
- JavaScript 注释
- Javascript 基本处理流程
- Javascript 选择结构
- Javascript if 语句
- Javascript if 语句的嵌套
- Javascript switch 语句
- Javascript 循环结构
- Javascript 循环结构实例
- Javascript 跳转语句
- Javascript 控制语句总结
- Javascript 函数介绍
- Javascript 函数的定义
- Javascript 函数调用
- Javascript 几种特殊的函数
- JavaScript 内置函数简介
- Javascript eval() 函数
- Javascript isFinite() 函数
- Javascript isNaN() 函数
- parseInt() 与 parseFloat()
- escape() 与 unescape()
- Javascript 字符串介绍
- Javascript length属性
- javascript 字符串函数
- Javascript 日期对象简介
- Javascript 日期对象用途
- Date 对象属性和方法
- Javascript 数组是什么
- Javascript 创建数组
- Javascript 数组赋值与取值
- Javascript 数组属性和方法
- 树义带你学 Prometheus(七):SpringBoot 实现自定义指标监控
- 布尔型盲注的PY交易
- 一文详解「队列」,手撸队列的3种方法!
- 代理模式
- Swift:Lable 高度计算误差
- 基于python检查SSL证书到期情况代码实例
- Python搭建Keras CNN模型破解网站验证码的实现
- PyCharm 在Windows的有用快捷键详解
- Python 自动化测试(三): pytest 参数化测试用例构建
- 基于Android平台实现拼图小游戏
- kotlin项目加入Glide图片加载库并使用GlideApp的方法
- Android实现百分比下载进度条效果
- 实验2 OpenGL交互
- 深入了解OkHttp3之Interceptors
- 实验3.1 直线光栅化(键盘交互版)