Redis学习09–虚拟内存

Posted on by
Redis中的虚拟内存
  1. Redis中虚拟内存的概念:
    1. redis的虚拟内存与os的虚拟内存不是同一个概念,但是实现的方法和目的是相同的,就是暂时把不经常访问的数据从内存交换到磁盘中,从而腾出宝贵的内存空间用于其它需要访问的数据;
    2. 对于redis这样的内存数据库,内存总是不够用的,除了可以将数据分割到多个redis server外,另外的能够提高数据库容量的办法就是使用vm把那些不经常访问的数据交换的磁盘上;
    3. 总是有少部分数据被经常访问,大部分数据很少被访问,对于网站来说确实总是只有少量用户经常活跃,当少量数据被经常访问时,使用vm不但能提高单台redis server数据库的容量,而且也不会对性能造成太多影响;
  2. Redis没有使用os提供的虚拟内存机制而是自己在用户态实现了自己的虚拟内存机制,主要原因为:
    1. os的虚拟内存是以4k页面为最小单位进行交换的,而redis的大多数对象都远小于4k,所以一个os页面上可能有多个redis对象;
    2. 另外redis的集合对象类型如list,set可能存在与多个os页面上,最终可能造成只有10%的key被经常访问,但是所有os页面都会被os认为是活跃的,这样只有内存真正耗尽时os才会交换页面;
    3. 相比于os的交换方式,redis可以将被交换到磁盘的对象进行压缩,保存到磁盘的对象可以去除指针和对象元数据信息,一般压缩后的对象会比内存中的对象小10倍,这样redis的vm会比osvm能少做很多io操作;
  3. VM的配置:
    1. vm-enabled yes                     # 开启vm功能;
    2. vm-swap-file /tmp/redis.swap       # 交换出来的value保存的文件路径/tmp/redis.swap;
    3. vm-max-memory 1000000              # redis使用的最大内存上限,超过上限后redis开始交换value到磁盘文件中;
    4. vm-page-size 32                    # 每个页面的大小32个字节;
    5. vm-pages 134217728                 # 最多使用在文件中使用多少页面,交换文件的大小 = vm-page-size * vm-pages
    6. vm-max-threads 4                   # 用于执行value对象换入换出的工作线程数量,推荐设置为cpu的核心数,0表示不使用工作线程;
  4. 参数的解释:
    1. redis的vm在设计上为了保证key的查找速度,只会将value交换到swap文件中,所以如果是内存问题是由于太多value很小的key造成的,那么vm并不能解决;
    2. 和os一样redis也是按页面来交换对象的,redis规定同一个页面只能保存一个对象,但是一个对象可以保存在多个页面中;
    3. 在redis使用的内存没超过vm-max-memory之前是不会交换任何value的,当超过最大内存限制后,redis会选择较老的对象,如果两个,对象一样老会优先交换比较大的对象,精确的公式swappability = age log(size_in_memory);
    4. 对于vm-page-size的设置应该根据自己的应用将页面的大小设置为可以容纳大多数对象的大小,太大了会浪费磁盘空间,太小了会造成交换文件出现碎片;
    5. 对于交换文件中的每个页面,redis会在内存中对应一个1bit值来记录页面的空闲状态,所以像上面配置中页面数量(vm-pages 134217728)会占用16M(134217728/8/1024/1024)内存用来记录页面空闲状态;
    6. vm-max-threads表示用做交换任务的线程数量,如果大于0推荐设为服务器的cpu core的数量,如果是0则交换过程在主线程进行;
  5. vm的工作原理:
    1. 当vm-max-threads设为0时(Blocking VM):
      1. 换出:主线程定期检查发现内存超出最大上限后,会直接已阻塞的方式,将选中的对象保存到swap文件中,并释放对象占用的内存,此过程会一直重复直到下面条件满足
        1. 内存使用降到最大限制以下;
        2. swap文件满了;
        3. 几乎全部的对象都被交换到磁盘了;
      2. 换入:当有client请求value被换出的key时,主线程会以阻塞的方式从文件中加载对应的value对象,加载时此时会阻塞所有的client,然后处理client的请求;
    2. 当vm-max-threads大于0(Threaded VM):
      1. 换出:当主线程检测到使用内存超过最大上限,会将选中的要交换的对象信息放到一个队列中交由工作线程后台处理,主线程会继续处理client请求;
      2. 换入:如果有client请求的key被换出了,主线程先阻塞发出命令的client,然后将加载对象的信息放到一个队列中,让工作线程去加载,加载完毕后工作线程通知主线程,主线程再执行client的命令,这种方式只阻塞请求value被换出key的client;
    3. 总的来说blocking vm的方式总的性能会好一些,因为不需要线程同步,创建线程和恢复被阻塞的client等开销,但是也相应的牺牲了响应性;threaded vm的方式主线程不会阻塞在磁盘io上,所以响应性更好;如果应用不太经常发生换入换出,而且也不太在意有点延迟的话则推荐使用blocking vm的方式;
  6. 相关链接:
    1. http://antirez.com/post/redis-virtual-memory-story.html;
    2. http://redis.io/topics/internals-vm;

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注