广告

为什么NVMe/TCP是数据中心的更优选择

2021-07-06 Lightbits Labs 阅读:
本文将描述NVMe/TCP如何成为面向现有数据中心的一种更优技术及其可提供的优势。

自从NVMe作为高性能固态硬盘(SSD)的最新协议出现以来,已经改变了存储行业。k5Yednc

NVMe最初是为高性能直连式PCIe SSD设计的,后来以NVMe over Fabrics(NVMe-oF)的形式进行了扩展,以支持机架级(rack-scale)的远程SSD池。k5Yednc

业界普遍认为,这种新的NVMe-oF模式将取代iSCSI协议,作为计算服务器和存储服务器之间的通信标准,并成为解耦合存储(disaggregated storage)方案的默认协议。k5Yednc

然而,NVMe-oF最初的部署选项仅限于光纤通道(Fibre Channel)和远程直接内存访问(Remote Direct Memory Access,RDMA)结构。k5Yednc

如果我们能够提供一种新的、更强大的技术,既能提供NVMe的速度和性能,又不需要高昂的部署成本和复杂性,将会如何?k5Yednc

NVMe over TCP(NVMe/TCP)就可以使用简单高效的TCP/IP结构将NVMe扩展到整个数据中心。k5Yednc

本文将描述NVMe/TCP如何成为面向现有数据中心的一种更优技术及其可提供的优势。这些优势包括:k5Yednc

  • 支持跨数据中心可用区域的解耦合
  • 利用无处不在的TCP传输和低延迟、高并行的NVMe协议栈
  • 无需在应用服务器端进行更改
  • 可提供类似直连式SSD(DAS)性能和延迟的高性能NVMe-oF解决方案
  • 针对NVMe优化的高效、精简的块存储网络软件栈
  • 可并行访问针对当今多核应用/客户服务器优化的存储
  • 标准的NVMe-oF控制路径操作

1. NVMe/TCP 概述k5Yednc

NVMe规范已经成为高性能SSD的最新协议。k5Yednc

与SCSI、ISCSI、SAS或SATA 接口不同,NVMe实现了针对多核服务器 CPU 优化的简化命令模式和多队列体系结构。NVMe-oF规范扩展了NVMe,实现了通过网络共享PCIe SSD,其最初是使用RDMA结构来实现的。如今,Lightbits Labs与Facebook、英特尔和其他行业领先企业合作来扩展NVMe-oF标准,以支持与RDMA结构互补的TCP/IP传输。k5Yednc

基于NVMe/TCP的解耦合存储方案具有简单、高效等明显优势。TCP具有普及性、可扩展性和可靠性,对于短暂连接和基于容器的应用而言是一种理想的选择。k5Yednc

此外,通过NVMe/TCP迁移到共享闪存(Flash)也不需要更改数据中心的网络基础设施。无需更改基础设施意味着可以轻松地跨数据中心进行部署,因为几乎所有数据中心网络都被设计为可支持TCP/IP。k5Yednc

基于NVMe/TCP协议的广泛行业合作意味着该协议从设计之初就具有广阔的生态系统,并且支持任何操作系统和网络接口卡(NIC)。NVMe/TCP Linux驱动程序原生匹配Linux内核,可以使用标准的Linux网络协议栈和NIC,无需任何修改。k5Yednc

这种很有前景的新协议为超大规模数据中心量身定制,可以在不改变底层网络基础设施的情况下轻松实现部署。k5Yednc

k5Yednc

图1 NVMe/TCP可与Linux内核中的现有NVMe协议无缝集成k5Yednc

2. 现在的数据中心如何处理存储k5Yednc

2.1 直连存储构与NVMek5Yednc

NVMe存储协议旨在从固态驱动器(SSD)中提取全部性能。k5Yednc

NVMe协议中所设计的并行能力有助于实现这种性能。NVMe并未使用单一队列的iSCSI模式。取而代之的是,NVMe在CPU子系统和存储之间可支持多达64000个队列。k5Yednc

SSD是使用多个并行通信信道与多个SSD存储位置相连接的并行设备,这意味着SSD可以在大规模的并行流中高效地接收数据。在NVMe/TCP协议出现之前,利用这种并行模式的最简单方法就是将NVMe SSD直接安装到应用服务器上。换句话说,你必须使用DAS模式来构建自己的存储基础设施。k5Yednc

使用DAS方法,应用可以受益于以下方面:k5Yednc

  • 多个CPU
  • 多个NVMe I/O队列
  • 并行SSD架构

对业界而言,挑战在于将SSD从可能具有多余容量的独立服务器转移到具有更高基础设施利用率且不会损失DAS性能收益的共享存储解决方案。因此,所有NVMe解耦合技术的目标都是在共享NVMe解决方案中实现DAS性能。k5Yednc

2.2 前一代基于 IP 的存储k5Yednc

以前,iSCSI标准是通过TCP/IP网络连接至块存储的唯一选择。它是在世纪之交开发的,当时大多数处理器都是单核器件。k5Yednc

在SCSI中,应用(Initiator)和存储(Target)之间只有一个连接。对于iSCSI,也是只有一个TCP套接字(socket)将客户端连接至块存储服务器。k5Yednc

现在,数据中心的处理器都是大规模并行多线程器件。当今处理器的这种复杂性要求对可用的存储协议进行彻底改革。其结果就是NVMe作为SATA和SAS(串行连接 SCSI)的替代者出现了。k5Yednc

所有那些早期协议的开发都是基于一个串行的旋转型磁盘驱动器。k5Yednc

非易失性存储器(NVM)是一种并行存储技术,它不需要一个或多个盘片在一个或一组磁头下面旋转。使用 NVM存储设备,可以并行访问许多存储单元,且具有较低的延迟。k5Yednc

毫无疑问,iSCSI仍然适用于具有低到中等存储性能要求的应用场景。然而,iSCSI却不能满足I/O密集型应用的要求,这类应用需要在大规模下实现低延迟。k5Yednc

2.3 其他替代方案和NVMe/TCP解耦合方案k5Yednc

RDMA、基于聚合以太网的RDMA(RoCE),以及基于光纤信道的NVMe(NVMe over FC),也是试图解决解耦合问题的其他网络存储协议。然而,这些替代方案要求在两端(应用服务器和存储服务器)都安装昂贵的特殊硬件,例如具备RDMA功能的NIC。此外,安装了RDMA硬件之后,在你具备RDMA功能的交换结构中配置和管理流控制也是很复杂的。k5Yednc

RDMA确实提供了适用于某些高性能计算环境的性能,但它要求更高的成本,并且需要进行非常复杂的部署。k5Yednc

TCP/IP已被证明可以在超大规模环境中可靠、高效地工作。NVMe/TCP继承了这种可靠性和效率,它可以作为RDMA的互补解决方案与之共存,也可以完全取代RDMA。k5Yednc

3. 数据中心中的闪存解耦合 NVMe/TCP解决方案k5Yednc

在DAS环境中,驱动器是在部署到服务器中之前购买的或与服务器一起购买的,随着时间的推移,它们的容量利用率增长得很缓慢。另外,为了避免存储用尽这种尴尬的局面出现,DAS常常会有意将容量配置为过剩的状态。k5Yednc

相比之下,将存储从计算服务器中分离出来的数据中心会更加高效。这样,存储容量就可以独立地进行扩展,并且可以根据需要分配给计算服务器。k5Yednc

随着每GB闪存成本的降低,解耦合存储方法更加经济高效,而且数据中心部署的前期成本也要低得多。通过动态分配存储资源,可以避免过度配置(over-provisioning)开销,从而大大降低总体成本。k5Yednc

NVMe/TCP解决方案释放了基于解耦合高性能固态硬盘(SSD)的云基础设施的潜力。它使数据中心能够从低效的直连式SSD模式转为一种共享模式,在该模式中,计算和存储可以独立扩展,以最大限度地提高资源利用率和运行灵活性。k5Yednc

这种新的共享模式采用了创新的 NVMe/TCP标准。Lightbits Labs发明了这一概念,并且正在引领这一新标准的发展。k5Yednc

NVMe/TCP不会影响应用的性能。实际上,它通常会改善应用的尾部延迟,从而提升用户体验,并使云服务提供商能够在相同的基础设施上支持更多用户。它也不需要对数据中心网络基础设施或应用软件进行任何更改。它还可以降低数据中心的总体拥有成本(TCO),并使维护和扩展超大规模数据中心变得更容易。Lightbits Labs正与其他市场领导者合作,以实现该标准在行业中的广泛采用。k5Yednc

NVMe/TCP利用标准的以太网网络拓扑,独立地扩展计算和存储,以实现最高的资源利用率,并降低TCO。k5Yednc

k5Yednc

图2 从直连式存储(DAS)转为解耦合存储和计算k5Yednc

4. Lightbits Labs在数据中心部署NVMe/TCPk5Yednc

Lightbits Labs的解决方案提供了如下性能优势:k5Yednc

  • 与直连式存储(DAS)相比,尾部延迟减少多达50%
  • SSD容量利用率翻倍
  • 数据服务的性能提升2-4 倍
  • 可扩展至数万个节点
  • 可支持实现数百万IOPS的性能,平均延迟低于200 μs

Lightbits解决方案在不影响系统稳定性或安全性的情况下可实现如下改进:k5Yednc

  • 应用服务器及其存储的物理分离
  • 支持独立部署、扩展和升级
  • 支持存储基础设施比计算基础设施更快地扩展
  • 提高应用服务器和存储的效率
  • 通过对应用服务器和存储硬件进行独立的生命周期管理,可简化管理并降低TCO
  • 提供与内部NVMe SSD相当的高性能和低延迟
  • 可利用现有的网络基础设施,无需进行更改
  • 可在多跳(multi-hop)数据中心网络架构中实现解耦合

k5Yednc

图3 NVMe/TCP可以跨数据中心将存储节点连接至应用服务器k5Yednc

5. Lightbits存储解决方案的工作原理k5Yednc

Lightbits Labs为云和数据中心基础设施提供了解耦合闪存平台。k5Yednc

当数万或数十万计算节点将直连式存储的多个孤岛锁定在每个物理节点中时,云级网络就会暴露出其所存在的极端复杂性。k5Yednc

Lightbits的解决方案释放了解耦合高性能 SSD解决方案的潜力。它使数据中心能够从低效的直连式SSD模式转为一种共享模式,在该模式中,计算和存储可以独立扩展,以最大限度地提高资源利用率和灵活性。k5Yednc

在 Lightbits Labs发明NVMe/TCP时,我们继续使用DAS设备所用的 NVMe模式,然后将其映射到行业标准的TCP/IP协议组中。NVMe/TCP是将多个并行的NVMe I/O队列映射到多个并行的TCP/IP连接上。这种NVMe和TCP之间的配对可以实现一种简单的、基于标准的、端到端的并行架构。k5Yednc

k5Yednc

图4 针对并行云架构打造的NVMe/TCPk5Yednc

这种新的共享模式使用了创新的NVMe/TCP标准,该标准不会影响延迟,也不需要更改网络基础设施或应用服务器软件。Lightbits Labs正在与其他市场领导者合作,以推动这一新的 NVMe/TCP 标准的采用。k5Yednc

利用Lightbits Labs的解耦合存储解决方案,存储可以精简的方式配置给应用服务器。精简配置意味着管理员可以将任意大小的卷分配给客户端。而且,只有当应用服务器写数据时,才会消耗底层存储容量。因此,存储在最后一刻(即需要它的时候)才会被使用。这将延迟对更多存储资源的购买,从而进一步降低成本。Lightbits还为以线速运行的数据服务提供了一种硬件加速解决方案。k5Yednc

因此,当使用 Lightbits精简配置技术和面向数据服务的硬件加速方案时,存储成本可以降低到只有性能相当的DAS解决方案成本的一小部分。k5Yednc

5.1 适合闪存写算法k5Yednc

对于读和写操作而言,闪存介质的延迟都很低。但是,SSD上的闪存控制器必须持续执行“垃圾收集”操作,以便为即将到来的写操作提供可用空间。与硬盘驱动器的写操作可以覆盖现有数据不同,闪存驱动器只允许将数据写入以前未写入或已擦除的闪存块中。k5Yednc

垃圾收集操作会导致“写入放大”。顾名思义,SSD控制器执行垃圾收集时,应用服务器发出的单个写操作会被进行垃圾收集的SSD控制器在实际的闪存介质上放大为更多的写操作。写入放大会增加闪存驱动器的耗损,这将影响它的长期使用。k5Yednc

此外,后台的垃圾收集会导致即将到来的I/O的延迟增加,并且随着更多随机写操作被写入闪存驱动器,垃圾收集会显著增加。不幸的是,很大比例的I/O都是随机的。总的来说,这意味着用户无法获得最好的性能或闪存耐久性。k5Yednc

Lightbits Labs的解决方案通过一个智能的管理层来解决这一问题,该层以不同的服务质量(QoS)等级来管理SSD池。这种解决方案减少了SSD后台操作,并使I/O更快速、更高效。k5Yednc

LightOS架构将多种算法紧密结合在一起,以便优化性能和闪存利用率。这包括将数据保护算法与用于数据服务的硬件加速解决方案以及我们的高性能读写算法紧密结合在一起。最终,跨SSD池管理和平衡所有I/O,从而极大地提高闪存利用率。k5Yednc

这种设计提高了总体性能,减少了尾部延迟、写入放大和SSD上的耗损。这意味着LightOS可以为你的闪存存储提供最高的投资回报率(ROI)。k5Yednc

5.2 高性能数据保护方案k5Yednc

要想实现存储与应用服务器的分离,还需要智能、高效且不影响性能的数据保护功能。k5Yednc

Lightbits结合了高性能数据保护方案,其可与用于数据服务的硬件加速解决方案和读写算法一起工作。k5Yednc

就如何将数据写入SSD池而言,相比传统的RAID 算法,Lightbits的数据保护方法可以防止过多的写入, 以避免SSD遭受更多耗损。k5Yednc

6. 总结k5Yednc

Lightbits Labs实现了高效的闪存解耦合方案,在实施和运行方面具有以下优点:k5Yednc

  • 不需要任何昂贵的专用网络硬件,Lightbits解决方案运行在标准的TCP/IP 网络上。
  • 使用TCP/IP以机架规模在一个或多个局域网上运行,没有协议方面的限制。
  • 提供与DAS相当的性能和延迟,包括尾部延迟比DAS尾部延迟低50%。
  • 将高性能数据保护方案与其用于数据服务的硬件加速解决方案,以及可确保性能不受影响的读写算法结合在一起。
  • 通过用于数据服务的硬件加速解决方案最大限度地提高闪存效率,该解决方案以全线速运行,且不影响性能。
  • 实现了精简配置的存储卷,支持“按需付费”的消费模式。

Lightbits是NVMe/TCP的发明者,也是其广泛采用的推动者。k5Yednc

作为一种新理念的应用,Lightbits的NVMe/TCP解决方案可以实现高效的闪存解耦合,从而获得与 DAS相当甚至更好的性能。Lightbits创造了一种现代的IP存储架构实现方式,可以最大限度地发挥应用服务器、NVMe、TCP和SSD并行架构的潜力。k5Yednc

通过Lightbits Labs的解决方案,云原生应用可以实现云级性能,云数据中心可以降低其云级TCO。k5Yednc

本文为EDN电子技术设计 原创文章,禁止转载。请尊重知识产权,违者本司保留追究责任的权利。
  • 微信扫一扫
    一键转发
  • 最前沿的电子设计资讯
    请关注“电子技术设计微信公众号”
  • 小型太阳能光伏电源的串联与并联线性稳压对比 对小型太阳能光伏阵列而言,使用线性稳压方案会比较简单。本设计实例将针对此类系统解读,重点关注串联稳压器拓扑与并联稳压器拓扑的相对优势。
  • 使用BLDC电机助力机械扫描激光雷达实现360度视场 激光雷达系统的视场 (FOV) 决定了激光雷达能够捕捉到的图像的宽度,因此该视场对于自动驾驶决策算法十分重要。扩大FOV的方法有很多种,其中之一就是利用机械扫描,使用电机帮助实现360度FOV。无刷直流 (BLDC) 电机可以实现此目标,且高效低噪,因此广受欢迎。
  • 如何设计小型USB-C PD和PPS适配器 为了实现先进的USB电源协议,除了反激式控制器外,设计工程师还需要使用专用的USB控制器或微控制器。这两个IC之间还需要低时延通信,确保整个解决方案符合USB协议。
  • SMPS电感的安装方向会影响辐射吗? 开关模式电源(SMPS)产生的EMI辐射频谱是由许多参数组成的函数,包括热回路大小、开关速度(压摆率)和频率、输入和输出滤波、屏蔽、布局和接地。一个潜在的辐射源是开关节点,在很多原理图上称为SW。SW节点铜可用作天线,发射快速高效的高功率开关事件产生的噪声。这是大多数开关稳压器的主要辐射源。
  • Microchip推出业界性能最强的16通道PCIe第五代企业级N Flashtec NVMe 4016控制器具备无与伦比的性能和包括业界领先的安全功能在内的丰富 “云就绪”功能集
  • 如何使用LTspice仿真来解释电压依赖性影响 问题:如何在电路仿真中考虑多层陶瓷电容器(MLCC)的直流偏置影响?答案:使用LTspice的非线性电容功能和合理的模型。
  • 细说车载充电机的功能与趋势 考虑到车载充电机(OBC)的整体硬件功能模块,设计人员应解决以下问题:对交流电源输入进行交流整流和功率因素校正(PFC);初级侧DC-DC;次级侧整流(无源或有源);如果是双向的,还要进行次级DC-DC控制…
  • 如何为SiC MOSFET选择合适的栅极驱动器 尽管碳化硅(SiC)具有开关速度更快和效率更高等一系列优势,但它也带来了一些设计挑战,我们可以通过选择合适的栅极驱动器来予以解决。
  • 自耦变压器和风扇 由于我的SPICE版本中并不包括自耦变压器,因此必须设计一个使用两个1:1匝数比变压器的模型...
  • 如何保护USB Type-C连接器免受静电放电和过热影响 移动设备工程师可以使用TVS二极管保护USB线路,使用数字温度指示器保护USB Type-C连接器,从而保护他们的设计。
  • DC/DC转换器功率降额规范中的挑战和替代方法 当今电子系统正在将更多的功能集成到更小尺寸中,但功能增多使功耗也会增加。因此,为了应对这一趋势,提供系统电压轨的DC/DC转换器必须以更小的封装实现更高的功率,即具有更高的“功率密度”。虽然目前的转换器设计可以具有非常高效率,但仍必须消散巨大热量以将关键组件保持在其最高额定温度以下。
  • 从技术角度分析,GaN和SiC功率器件上量还欠什么? 氮化镓(GaN)和碳化硅(SiC)这两种新器件正在推动电力电子行业发生重大变化,它们在汽车、数据中心、可再生能源、航空航天和电机驱动等多个行业取得了长足的进步。在由AspenCore集团举办的PowerUP Expo大会上,演讲嘉宾们深入探讨了包括GaN和SiC在内的宽禁带(WBG)器件的技术优势以及发展趋势。
广告
热门推荐
广告
广告
EE直播间
在线研讨会
广告
广告
面包芯语
广告
向右滑动:上一篇 向左滑动:下一篇 我知道了