MongoDB数据库容量规划是指什么

发布时间:2021-07-16 17:04:44 作者:Leah
来源:亿速云 阅读:386

MongoDB数据库容量规划是指什么,很多新手对此不是很清楚,为了帮助大家解决这个难题,下面小编将为大家详细讲解,有这方面需求的人可以来学习下,希望你能有所收获。

  MongoDB数据库容量规划是什么

  我们讨论的存储,说到底都是基于操作系统之上的一个应用软件,而操作系统能利用的,无非是系统的存储:磁盘、内存、CPU cache等等。所以容量规划的意义就是:按要存储的数据特点,针对一段时间的数据量,对机器各个存储的容量、性能及系统配置进行合理预估。

  通常这个问题在实际容量规划中可以化简为对内存,硬盘容量和性能的预估。

  下面我们就以MongoDB为例说一下容量预估的一些计算方法。我们通常的一个粗糙的要求是要将所有热数据放到内存中。这里的热数据可能包括经常访问的数据,索引和系统开销。下面我们就这三个方面进行说明:

  常访问的数据

  根据不同的应用场景,你可以对数据访问情况进行预估。比如用MongoDB保存帖子内容,每个帖子大小为1k,目前有1亿个帖子,每天新增100w个帖子,那么3个月后帖子量大概为2亿,需要200G的硬盘空间。

  每天新增的100w帖子是常访问的,而可能我们每天活跃访问的贴子为200w,也就是说另外100w是之前的老帖子。如果我们规划给热数据的内存大小为 1G,那只能装下100w数据,装不了200w数据。由于帖子访问的随机性,最坏的情况是我们每次访问的数据都不在内存中(比如先访问了不在内存中的 100w,加载到内存中,再访问刚刚被换到磁盘上的数据,又需要再加载一次),需要进行和PV相同次数的磁盘IO,灾难!最好的情况我们也需要100w次 磁盘IO(比如先对在内存中的100w数据进行频繁访问,再对不在内存中的100w数据进行频繁访问),在访问频率均匀的情况下,每秒需要进行大概12次 的磁盘IO。

  那我们把规划给热数据的内存大小调为2G,看看会如何,这时候一天200w热数据正好能装下。那么最好的情况下,需要进行 100w次磁盘IO(比如200w数据中的100w老数据全都在昨天的热数据中,则只需要对100w数据进行重新加载),在访问频率均匀的情况下,每秒需 要进行大概12次的磁盘IO。最坏的情况下,需要进行200w次磁盘IO(比如今天访问的200w条数据和昨天的热数据没有重合),在访问频率均匀的情况 下,每秒需要进行大概25次的磁盘IO。

  MongoDB数据库容量规划是什么

  同理,我们再增大内存,会需要访问的数据在内存中的机率增大,从而减小磁盘IO的频率。

  上面说的是一个简单例子,具体你可以根据自己的数据访问特性进行评估和计算,而且不仅要算平均IO,更重要的是巅峰IO。

  同时不要忘了,MongoDB还会定时调用fsync将内存中的脏页flush到磁盘(默认一分钟一次),你可以根据你自己脏数据的量或者比例来评估每次的IO,然后你再考虑是否需要将fsync的频率调低一点。

  如果你还开启了journaling log,那这个IO量也需要加进去。

  当然,接下来的就是你的磁盘是否能够承受最终的IO量,然后你可以考虑你是否需要使用更快的硬盘,是否需要RAID,是否需要换用SSD等等了。

  索引量

  索引和常访问数据不同,索引要求全部放在内存中,所以索引的容量计算就相对容易很多。通过MongoDB的db.stats()命令就能看到你当前占用 的索引大小。比如上面的例子,现在1亿条数据如果索引大小为5G的话,那么2亿条的时候大概需要10G。所以内存必须要装下这10G索引。

  系统开销

  MongoDB daemon的开销基本可以理解为一个常数,所以这里的系统开销就主要是连接开销。这取决于你的应用特点。比如你最大的并发操作为100。也就是同时 100个连接与MongoDB相连。每个连接一个线程开销为系统的stack size设置,默认是10M,那就是1G(当然你可以适当调整这个值)。需要对数据进行实时排序的话,需要再算上排序时的内存开销。

  总结

  当然,上面讲的是一个简单的预估方法,我们不期望能够通过计算得出真实的容量估算结果,毕竟互联网产品的变化总是那么不可控。但是在部署前按业务情况进行相关的容量预估是非常重要的。好的预估可以在金钱、性能和运维成本上得到一个相对平衡的结果。

看完上述内容是否对您有帮助呢?如果还想对相关知识有进一步的了解或阅读更多相关文章,请关注亿速云行业资讯频道,感谢您对亿速云的支持。

推荐阅读:
  1. Exchange Server DB容量规划公式
  2. hbase 集群规划(集群业务规划,集群容量规划,Region规划)

免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:is@yisu.com进行举报,并提供相关证据,一经查实,将立刻删除涉嫌侵权内容。

mongodb

上一篇:Fedora中怎么安装MongoDB服务器

下一篇:Web开发中客户端跳转与服务器端跳转有什么区别

相关阅读

您好,登录后才能下订单哦!

密码登录
登录注册
其他方式登录
点击 登录注册 即表示同意《亿速云用户服务条款》