缓存穿透问题

发布时间:2020-08-01 19:23:50 作者:rr57e735816465a
来源:网络 阅读:444

 一. 缓存穿透 (请求数据缓存大量不命中):

    缓存穿透是指查询一个一定不存在的数据,由于缓存不命中,并且出于容错考虑, 如果从存储层查不到数据则不写入缓存,这将导致这个不存在的数据每次请求都要到存储层去查询,失去了缓存的意义。

    例如:下图是一个比较典型的cache-storage架构,cache(例如memcache, redis等等) + storage(例如mysql, hbase等等)架构,查一个压根就不存在的值, 如果不做兼容,永远会查询storage。

缓存穿透问题

二. 危害:

     对底层数据源(mysql, hbase, http接口, rpc调用等等)压力过大,有些底层数据源不具备高并发性。下载

     例如mysql一般来说单台能够扛1000-QPS就已经很不错了(别说你的查询都是select * from table where id=xx 以及你的机器多么牛逼,那就有点矫情了)

     例如他人提供的一个抗压性很差的http接口,可能穿透会击溃他的服务。

     缓存穿透问题

三. 如何发现:

   我们可以分别记录cache命中数, storage命中数,以及总调用量,如果发现空命中(cache,storage都没有命中)较多,可能就会在缓存穿透问题。下载

   注意:缓存本身的命中率(例如redis中的info提供了类似数字,只代表缓存本身)不代表storage和业务的命中率。

   

四. 产生原因以及业务是否允许?

    产生原因有很多:可能是代码本身或者数据存在的问题造成的,也很有可能是一些恶意***、爬虫等等(因为http读接口都是开放的)

    业务是否允许:这个要看做的项目或者业务是否允许这种情况发生,比如做一些非实时的推荐系统,假如新用户来了,确实没有他的推荐数据(推荐数据通常是根据历史行为算出),这种业务是会发生穿透现象的,至于业务允不允许要具体问题具体分析了。下载

 

五. 解决方法:

解决思路大致有两个,如下表。下面将分别说明

解决缓存穿透适用场景维护成本
缓存空对象

1. 数据命中不高

2. 数据频繁变化实时性高

1.代码维护简单

2.需要过多的缓存空间

3. 数据不一致

bloomfilter或者压缩filter提前拦截

1. 数据命中不高

2. 数据相对固定实时性低

1.代码维护复杂

2.缓存空间占用少

       1. 缓存空对象下载

         缓存穿透问题

        (1). 定义:如上图所示,当第②步MISS后,仍然将空对象保留到Cache中(可能是保留几分钟或者一段时间,具体问题具体分析),下次新的Request(同一个key)将会从Cache中获取到数据,保护了后端的Storage。

        (2) 适用场景:数据命中不高,数据频繁变化实时性高(一些乱转业务)

        (3) 维护成本:代码比较简单,但是有两个问题:

             第一是空值做了缓存,意味着缓存系统中存了更多的key-value,也就是需要更多空间(有人说空值没多少,但是架不住多啊),解决方法是我们可以设置一个较短的过期时间。

             第二是数据会有一段时间窗口的不一致,假如,Cache设置了5分钟过期,此时Storage确实有了这个数据的值,那此段时间就会出现数据不一致,解决方法是我们可以利用消息或者其他方式,清除掉Cache中的数据。

        (4) 伪代码:

Java代码  下载

  1. package com.carlosfu.service;  

  2.   

  3. import org.apache.commons.lang.StringUtils;  

  4.   

  5. import com.carlosfu.cache.Cache;  

  6. import com.carlosfu.storage.Storage;  

  7.   

  8. /** 

  9.  * 某服务 

  10.  *  

  11.  * @author carlosfu 

  12.  * @Date 2015-10-11 

  13.  * @Time 下午6:28:46 

  14.  */  

  15. public class XXXService {  

  16.   

  17.     /** 

  18.      * 缓存 

  19.      */  

  20.     private Cache cache = new Cache();  

  21.   

  22.     /** 

  23.      * 存储 

  24.      */  

  25.     private Storage storage = new Storage();  

  26.   

  27.     /** 

  28.      * 模拟正常模式 

  29.      * @param key 

  30.      * @return 

  31.      */  

  32.     public String getNormal(String key) {  

  33.         // 从缓存中获取数据  

  34.         String cacheValue = cache.get(key);  

  35.         // 缓存为空  

  36.         if (StringUtils.isBlank(cacheValue)) {  

  37.             // 从存储中获取  

  38.             String storageValue = storage.get(key);  

  39.             // 如果存储数据不为空,将存储的值设置到缓存  

  40.             if (StringUtils.isNotBlank(storageValue)) {  

  41.                 cache.set(key, storageValue);  

  42.             }  

  43.             return storageValue;  

  44.         } else {  

  45.             // 缓存非空  

  46.             return cacheValue;  

  47.         }  

  48.     }  

  49.   

  50.   

  51.     /** 

  52.      * 模拟防穿透模式 

  53.      * @param key 

  54.      * @return 

  55.      */  

  56.     public String getPassThrough(String key) {  

  57.         // 从缓存中获取数据  

  58.         String cacheValue = cache.get(key);  

  59.         // 缓存为空  

  60.         if (StringUtils.isBlank(cacheValue)) {  

  61.             // 从存储中获取  

  62.             String storageValue = storage.get(key);  

  63.             cache.set(key, storageValue);  

  64.             // 如果存储数据为空,需要设置一个过期时间(300秒)  

  65.             if (StringUtils.isBlank(storageValue)) {  

  66.                 cache.expire(key, 60 * 5);  

  67.             }  

  68.             return storageValue;  

  69.         } else {  

  70.             // 缓存非空  

  71.             return cacheValue;  

  72.         }  

  73.     }  

  74.   

  75. }  

 

2. bloomfilter或者压缩filter(bitmap等等)提前拦截下载

缓存穿透问题

        (1). 定义:如上图所示,在访问所有资源(cache, storage)之前,将存在的key用布隆过滤器提前保存起来,做第一层拦截, 例如: 我们的推荐服务有4亿个用户uid, 我们会根据用户的历史行为进行推荐(非实时),所有的用户推荐数据放到hbase中,但是每天有许多新用户来到网站,这些用户在当天的访问就会穿透到hbase。为此我们每天4点对所有uid做一份布隆过滤器。如果布隆过滤器认为uid不存在,那么就不会访问hbase,在一定程度保护了hbase(减少30%左右)。下载

            

        (2) 适用场景:数据命中不高,数据相对固定实时性低(通常是数据集较大)

        (3) 维护成本:代码维护复杂, 缓存空间占用少

              第一是空值做了缓存,意味着缓存系统中存了更多的key-value,也就是需要更多空间(有人说空值没多少,但是架不住多啊),解决方法是我们可以设置一个较短的过期时间。

              第二是数据会有一段时间窗口的不一致,假如,Cache设置了5分钟过期,此时Storage确实有了这个数据的值,那此段时间就会出现数据不一致,解决方法是我们可以利用消息或者其他方式,清除掉Cache中的数据。


推荐阅读:
  1. 缓存穿透
  2. redis的缓存穿透和缓存失效怎么办

免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:is@yisu.com进行举报,并提供相关证据,一经查实,将立刻删除涉嫌侵权内容。

springmvc ssm 多数据源

上一篇:Jmeter分布式压力测试环境配置

下一篇:Objective-C之成魔之路【7-类、对象和方法】

相关阅读

您好,登录后才能下订单哦!

密码登录
登录注册
其他方式登录
点击 登录注册 即表示同意《亿速云用户服务条款》