Skip to main content

02小节：用户查询优惠券之缓存穿透

作者：程序员马丁

在线博客：https://nageoffer.com

note

热门项目实战社群，收获国内众多知名公司面试青睐，近千名同学面试成功！助力你在校招或社招上拿个offer。

用户查询优惠券之缓存穿透，元数据信息：

©版权所有 - 拿个offer-开源&项目实战星球专属学习项目，依据《中华人民共和国著作权法实施条例》和《知识星球产权保护》，严禁未经本项目原作者明确书面授权擅自分享至 GitHub、Gitee 等任何开放平台。违者将面临法律追究。

内容摘要：市面上常见的缓存穿透解决方案，如布隆过滤器、缓存空值、分布式锁等，都各自存在一定的漏洞。为彻底解决缓存穿透问题，我们提出了一种综合应用这三种技术的组合方案。此外，还详细讲解了如何预估布隆过滤器的容量以及在面对超大容量需求时的应对策略。

课程目录如下所示：

  • 业务背景

  • Git 分支

  • 什么是缓存穿透？

  • 缓存穿透常见解决方案

  • 优惠券模板引入缓存穿透解决方案

  • 常见问题答疑

业务背景​

在上一节中，我们讨论了正常用户在访问优惠券时可能遇到的缓存击穿问题，并介绍了缓存预热、缓存永不过期、分布式锁、双重判定锁、分片分布式锁等技术来应对这些问题。然而，还有一个问题需要解决：如果用户频繁访问数据库中不存在的数据，就无法有效使用缓存，每次都需要访问数据库，这将导致数据库承受较大的压力。这也就是缓存穿透问题。

缓存穿透问题时序图如下所示：

Git 分支​

20240827_dev_coupon-template-querypv-v2_cache_ding.ma

什么是缓存穿透？​

缓存穿透是指由于请求没有办法命中缓存，因此就会直接打到数据库，当请求量较大时，大量的请求就可能会直接把数据库打挂。

通常情况下，缓存是为了提高数据访问速度，避免频繁查询数据库。但如果攻击者故意请求缓存中不存在的数据，就会导致缓存不命中，请求直接访问数据库。

没有经过缓存穿透处理的业务伪代码如下：

public String selectUser(String userId) {
    String cacheData = cache.get(userId);
    if (StrUtil.isBlank(cacheData)) {
        String dbData = userMapper.selectId(userId);
        if (StrUtil.isNotBlank(dbData)) {
            cahce.set(userId, dbData);
            cacheData = dbData;
        } else {
            throw new RuntimeException();
        }
    }
    return cacheData;
}

缓存穿透常见解决方案​

1. 空对象缓存​

当查询结果为空时，也将结果进行缓存，但是设置一个较短的过期时间。这样在接下来的一段时间内，如果再次请求相同的数据，就可以直接从缓存中获取，而不是再次访问数据库，可以一定程度上解决缓存穿透问题。

缓存空值逻辑伪代码实现如下：

public String selectUser(String userId) {
    String cacheData = cache.get(userId);
    if (StrUtil.isBlank(cacheData)) {
        // 判断 Key 是否包含空值缓存，存在直接返回，不存在继续流程
        Boolean cacheIsNull = cache.hasKey("is-null_" + userId);
        if (cacheIsNull) {
            throw new RuntimeException();
        }
        String dbData = userMapper.selectId(userId);
        if (StrUtil.isNotBlank(dbData)) {
            cahce.set(userId, dbData);
            cacheData = dbData;
        } else {
            // 查询数据库中不存在数据，添加空值缓存并返回
            cache.set("is-null_" + userId, 较短过期时间);
            throw new RuntimeException();
        }
    }
    return cacheData;
}

这种方式是比较简单的一种实现方案，会存在一些弊端。那就是当短时间内存在大量恶意请求，缓存系统会存在大量的内存占用。

2. 布隆过滤器​

2.1 什么是布隆过滤器​

布隆过滤器是一种数据结构，用于快速判断一个元素是否存在于一个集合中。它以牺牲一定的准确性为代价，换取了存储空间的极大节省和查询速度的显著提升。

具体来说，布隆过滤器包含一个位数组和一组哈希函数。位数组的初始值全部置为 0。在插入一个元素时，将该元素经过多个哈希函数映射到位数组上的多个位置，并将这些位置的值置为 1。

因为每个元素存储都是以位来存储，而不是字节，所以元素的占用空间非常小。

1 字节（Byte）= 8 位（Bit）在计算机科学中，数据存储的最小单位是位（Bit），而字节（Byte）则是一个常用的数据存储单位，通常由8个位组成。

在查询一个元素是否存在时，会将该元素经过多个哈希函数映射到位数组上的多个位置，如果所有位置的值都为 1，则认为元素存在；如果存在任一位置的值为 0，则认为元素不存在。

2.2 布隆过滤器优缺点​

布隆过滤器的优点在于它可以高效地判断一个元素是否属于一个大规模集合，且具有极低的存储空间要求。如果存储 1亿元素，误判率设置为 0.001 也就是千分之一，仅需要占用 171M 左右的内存。

缺点在于可能会存在一定的误判率。

它在实际应用中常用于缓存场景下缓存穿透问题，对访问请求做一个快速判断机制。使用布隆过滤器能够有效减轻对底层存储系统的访问以及缓存系统的存储压力。

但是布隆过滤器本身也存在一些“弊端”，那就是不支持删除元素。因为它是一种基于哈希的数据结构，删除元素会涉及到多个哈希函数之间的冲突问题，这样会导致删除一个元素可能会影响到其他元素的正确性。

总的来说，布隆过滤器是一种非常高效的数据结构，适用于那些可以容忍一定的误判率的场合。

2.3 布隆过滤器解决缓存穿透​

可以将所有存量数据全部放入布隆过滤器，然后如果缓存中不存在数据，紧接着判断布隆过滤器是否存在，如果存在访问数据库请求数据，如果不存在直接返回错误响应即可。

使用布隆过滤器解决缓存穿透伪代码如下：

public String selectUser(String userId) {
    String cacheData = cache.get(userId);
    if (StrUtil.isBlank(cacheData)) {
        if (!bloomFilter.contains(fullShortUrl)) {
            throw new RuntimeException();
        }
        String dbData = userMapper.selectId(userId);
        if (StrUtil.isNotBlank(dbData)) {
            cahce.set(userId, dbData);
            cacheData = dbData;
        }
    }
    return cacheData;
}

但是这种问题还是会有一些小概率问题，那就是如果使用一种小概率误判的缓存进行攻击，依然会对数据库造成比较大的压力。这个怎么理解呢？

  1. 比如说一个优惠券 ID 是 1827975299049058306，我通过优惠券 ID 规则，模拟一个不存在的但很相近的，比如 1827975299049058307，去碰撞那个误判的概率；
  2. 怎么判断这个数据是不是存在？就是看接口的响应时间，直接查询缓存和布隆过滤器是绝对的毫秒级，比如 5 毫秒，而且性能基本上比较恒定。那我们就可以根据相应时间是否大于 5 毫秒，因为误判了还会查一次数据库；
  3. 如果查询第一次大于 5 毫秒且数据返回为空，那就证明这是个碰撞漏网之鱼，直接拿高并发访问即可，还是会请求到数据库。

3. 布隆过滤器+空值缓存+分布式锁​

如果说缓存不存在，那么就通过布隆过滤器进行初步筛选，然后判断是否存在缓存空值，如果存在直接返回失败。如果不存在缓存空值，使用锁机制避免多个相同请求同时访问数据库。最后，如果请求数据库为空，那么将为空的 Key 进行空对象值缓存。

多重方案伪代码如下所示：

public String selectUser(String userId) {
    String cacheData = cache.get(userId);
    if (StrUtil.isBlank(cacheData)) {
        // 判断 Key 是否存在布隆过滤器，存在则继续流程，否则直接返回
        if (!bloomFilter.contains(fullShortUrl)) {
            throw new RuntimeException();
        }

        // 判断 Key 是否包含空值缓存，存在直接返回，不存在继续流程
        Boolean cacheIsNull = cache.hasKey("is-null_" + userId);
        if (cacheIsNull) {
            throw new RuntimeException();
        }

        // 获取分布式锁
        Lock lock = getLock(userId);
        lock.lock();

        try {
            // 拿到锁之后进行双重判定，如果缓存已经存在则直接返回即可
            cacheData = cache.get(userId);
            if (StrUtil.isBlank(cacheData)) {
                String dbData = userMapper.selectId(userId);
                if (StrUtil.isNotBlank(dbData)) {
                    cahce.set(userId, dbData);
                    cacheData = dbData;
                } else {
                    // 查询数据库中不存在数据，添加空值缓存并返回
                    cache.set("is-null_" + userId, 较短过期时间);
                    throw new RuntimeException();
                }
            }
        } finally {
            lock.unlock();
        }
    }
    return cacheData;
}

之前我考虑到这就结束了，得益于我开源的 SaaS 短链接项目，有很多细心的同学给我提了一些建议。那就是在获取到锁后，不止对正常缓存双重判定，同时也要对空值缓存对象做双重判定。

解锁付费内容，👉 戳​

Table of Contents