如何以ScaleIO为例分析SERVER SAN的部署

这期内容当中小编将会给大家带来有关如何以ScaleIO为例分析SERVER SAN的部署，文章内容丰富且以专业的角度为大家分析和叙述，阅读完这篇文章希望大家可以有所收获。

前言

支持iSCSI的SERVER SAN有全闪存阵列厂商SolidFire（也支持纯软件部署），还有我们前面分享过的Zadara Storage。其实采用iSCSI的Scale-out SAN，其节点一般都不能太多，因为iSCSI支持分布式难度很大，比如NetApp是8个，华为/EMC的高端存储是16个，富士通高端可以做到24个，SolidFire号称可以做到100个。但EMC ScaleIO可以扩展到1024个，华为FusionStorage可以支持4K个。也就是从工业实现的角度看，支持1000个节点以上的SERVER SAN，基本都需要靠专用的客户端来提供块服务，而不能依赖标准的iSCSI协议了。

网络拓扑

网络的部署，首先要考虑拓扑。SERVER SAN的网络拓扑分两种，一种是扁平网络（Flat），一种是叶刺网络(Leaf-Spine)，也就是有骨干和分支的。

一般小规模部署采用扁平网络，而大规模的部署采用Leaf-Spine网络。部署的时候除了考虑节点规模外，还需要考虑未来的扩展，如果超融合部署还需要考虑应用的带宽，还有安全性，比如客户端来自不信任域，需要考虑把SDC和SDS隔离开来。

Leaf-Spine是一种两层架构，是传统三层网络的另类实现。每一个Leaf交换机都需要连接到所有的Spine交换机，但Leaf交换机和Spine交换机之间并不互连。Leaf交换机控制服务器之间的流量，而Spine交换机移动L2节点间的流量。

大多数情况，EMC建议采用Leaf-Spine拓扑，这是因为：

• ScaleIO可以扩展到几百个节点；

• Leaf-Spine面向未来，以后扩展无需重新调整网络；

• 规划正确可以实现无阻塞交换；

• 使用的连接有一样的带宽；

• 可预测的时延；

• 更高的可用性和性能。
  

但扁平网络也不是不可以用，特别是在一些分支机构和中小企业，足够了。采用扁平网络建议最多4台交换机，EMC建议的拓扑如下图，并没有采用全网状连接，这样可以节省一些端口。如果超过4台交换机，那么还是采用Leaf-Spine网络好了。

网络性能

选好网络拓扑，性能的规划就是最重要的了。

EMC建议在网络初始配置的时候，采用交换机的缺省设置，先不要启用巨帧、流控和链路聚合这些高级特性。只有确认网络上的设备都支持这些特性后，再慢慢启用，否则调试起来会反复，效率不高。

大家知道元数据服务MDM是整个系统的控制中心，EMC建议SDS到MDM的通讯时延（采用ping可以测试）要小于1ms。

需要计算的部分主要是网络的带宽。网络的带宽，需要考虑很多因素：

• 重构时间。一个节点失效，重构的时间；

• 重平衡的时间。新增和删除节点，数据重新平衡分布的时间；

• 硬盘的能力和性能；

• 应用的性能期望，带宽、时延、IOPS等。

不管怎么算，1Gbps的带宽明显是不够的，因此，万兆网络是必须的。那么，怎么计算每个节点需要多少个万兆网卡呢？

如果你把一个节点当成一个存储系统，硬盘的总带宽当成后端的带宽，万兆网卡的总带宽当成前端的总带宽。从系统角度，如果前端总带宽和后端总带宽相当，那么这个存储系统就没有瓶颈。

为了更好理解，提供两个估算的例子。

例子1:

某节点一个有10个HDD，每个HDD的持续带宽是100MB/s。因此后端总带宽就是1000MB/s。大约相当于1块万兆网卡的性能，考虑冗余，因此配置2块万兆网卡是比较合适的。

例子2：

如果这个节点有6个SSD，每个SSD的持续带宽是450MB/s（我理解应该按照最大值，即读带宽算）。那么后端系统总带宽就是2700MB/s，配置3块万兆网卡（我理解指3个线速的万兆端口，具体物理上是两块2端口的和三块1端口的都行）就比较合适。

也就是说，为了可靠性，最少配置2块物理网卡（不同槽位提高可靠性）。但具体使用多少个给万兆端口，还需要估算一下。一般服务器节点的硬盘槽位是12个，如果用HDD，2个万兆口基本够用，但如果用SSD，可能需要4个以上。但有些高密网卡，可能不能所有端口都跑满，这个就需要更多的物理网卡了。

要注意以上只是存储I/O本身的带宽要求，如果你要采用超融合部署，还需要考虑应用的带宽。

EMC最佳实践还建议隔离前端（SDC-SDS)和后端（SDS-SDS）流量，这样可能需要更多的网卡或者端口。比如4块网卡，2块跑纵向流量，2块跑横向流量。ScaleIO每个节点最大支持8个网络。

为了更好性能，EMC还建议交换机接入端口采用缺省配置，ScaleIO的流量不要启用VLAN tagging（这个应该指NIC收到的报文都是不带VLAN ID的）。

至于巨帧（Jumbo Frames）的使用，EMC建议等网络部署完成后启用。如果网络都支持，而且典型的写大小超过1500字节，启用巨帧功能还是可以提高性能的（一般文件系统的读写都是4K，8K吧，因此，大部分情况应该符合这个条件）。

至于流控，一般建议性能调优阶段启用。流控分全局流控和优先级流控（Priority Flow Control，DCB/PFC，只针对特定流量，需要交换机和NIC支持）。有些情况下可能用不了流控，比如超融合部署不适宜使用全局流控（因为不仅仅有ScaleIO流量），如果存储部分有专用的物理网络可能也不需要流控。

至于链路聚合，如果网络支持，建议启用，性能和可靠性都会更好。

如果交换机支持teaming/bonding，尽量采用动态链路检测（不要用静态LACP配置），并且配置更短的定时器来进行更快的故障切换。

上述就是小编为大家分享的如何以ScaleIO为例分析SERVER SAN的部署了，如果刚好有类似的疑惑，不妨参照上述分析进行理解。如果想知道更多相关知识，欢迎关注亿速云行业资讯频道。