可乐学习NVMe之一:为什么SSD需要NVMe
可乐学习NVMe之二:三只熊SQ/CQ/DB
可乐学习NVMe之三:解读PRP/SGL

1. 基本概念
  从前文中我们知道,一个NVMe SSD系统主要分三个部分,SSD Controller、闪存空间、PCIe接口。一个NVMe Subsystem通常被称为SSD。
  如果把闪存空间划分成若干个独立的逻辑空间,每个空间逻辑块地址(LBA)范围是0到N-1 (N是逻辑空间大小),这样划分出来的每一个逻辑空间我们就叫做NS。对SATA SSD来说,一个闪存空间只对应着一个逻辑空间,与之不同的是,NVMe SSD可以是一个闪存空间对应多个逻辑空间。
  每个NS都有一个名称与ID,ID是独一无二的,系统就是通过 NS的ID来区分不同的NS。
在这里插入图片描述
2. 举例说明

一个NVMe Controller 多个NS:

图3显示了包含单个NVM Express控制器和单个PCI Express端口的NVM子系统。由于这是一个单一的PCI Express功能设备,NVM Express控制器应该与PCI Function 0相关联。
  一个控制器可以支持多个命名空间。图3中整个闪存空间划分2个NS, 分别为NS A和NS B两个命名空间。与每个控制器命名空间关联的是一个命名空间ID,标记为NSID 1和NSID 2,控制器使用它来引用特定的命名空间。命名空间ID不同于命名空间本身,它是主机和控制器在命令中指定特定命名空间时使用的句柄。在这个例子中,命名空间ID 1与命名空间A关联,命名空间ID 2与命名空间B关联。这两个命名空间对控制器来说都是私有的,这个配置既不支持多路径I/O,也不支持命名空间共享。
在这里插入图片描述
  另外,如果NS A大小是M (以逻辑块大小为单位),NS B大小是N,则他们的逻辑地址空间分别是0到M-1和0到N-1。Host读写SSD,都是要在命令中指定读写的是哪个NS中的逻辑块。原因很简单,如果不指定NS,对同一个LBA来说,假设就是LBA 0,SSD根本就不知道去读或者写哪里,因为有两个逻辑空间,每个逻辑空间都有LBA 0。
  一个NVMe命令一共64字节,其中第4到第7个Byte指定了要访问的NS。
在这里插入图片描述
  对每个NS来说,都有一个4KB大小的数据结构来描述它。
在这里插入图片描述
  该数据结构描述了该NS的大小,整个空间已经写了多少,每个LBA的大小,以及端到端数据保护相关设置,该NS是否属于某个Controller还是几个Controller可以共享,等等。
  NS由Host创建和管理,每个创建好的NS,从Host操作系统角度看来,就是一个独立的磁盘,用户可在每个NS做分区等操作。
  每个NS是独立的,逻辑块大小可以不同,端到端数据保护配置也可以不同。
  NS更多的是应用在企业级,可以根据客户不同需求创建不同特征的NS,也就是在一个SSD上创建出若干个不同功能特征的磁盘(NS)供不同客户使用。
  
两个NVMe Controller 多个NS:
  对一个NVMe子系统来说,除了包含若干个NS,还可以由若干个 SSD Controller。注意,这里不是说一个SSD Controller有多个CPU,而是说一个SSD有几个实现了NVMe功能的Controller。
  在这里插入图片描述
  如上图例子,一个NVMe子系统包含了两个Controller,分别实现不同功能(也可以是相同功能)。整个闪存空间分成3个NS,其中NS A由Controller 0(左边)独享,NS C由Controller 1(右边)独享,而NS B是两者共享。独享的意思是说只有与之关联的Controller才能访问该NS,别的Controller是不能对之访问的,上图中Controller 0是不能对NS C进行读写操作的,同样,Controller 1也不能访问 NS A;共享的意思是说,该NS(这里是NS B)是可以被两个Controller共同 访问的。对共享NS,由于几个Controller都可以对它进行访问,所以要求每个Controller对该NS的访问都是原子操作,从而避免同步问题。
  
若干NVMe Controller 若干PCIe Port:
  事实上,一个NVMe子系统,除了可以有若干个NS,除了可以有若干个Controller,还可以有若干个PCIe接口。
  与前面的架构不一样,下图的架构是每一个Controller有自己的PCIe接口,而不是两者共享一个。Dual Port这两个接口,往上有可能连着同一个主机,也可能连着不同的主机。
在这里插入图片描述
NameSpace用于SR-IOV场景
  什么是SR-IOV? 英文全称为 Single Root- I/O Virtualization,SR-IOV技术允许在虚拟机之间高效共享PCIe设备,并且它是在硬件中实现的,可以获得能够与本机性能媲美的I/O 性能。单个I/O 资源(单个SSD)可由许多虚拟机共享。共享的设备将提供专用的资源,并且还使用共享的通用资源。这样,每个虚拟机都可访问唯一的资源。
  如下图所示,该SSD作为PCIe的一个Endpoint,实现了一个物理功能 (Physical Function ,PF),有4个虚拟功能(Virtual Function,VF)关联该PF。每个VF,都有自己独享的NS,还有公共的NS (NS E)。此功能使得虚拟功能可以共享物理设备,并在没有 CPU 和虚拟机管理程序软件开销的情况下执行 I/O。关于SR-IOV更多知识,请自行搜索。
  这里我们只需知道NVMe中的NS有用武之地就可以。
在这里插入图片描述
3.总结:
  多NS,多Controller,多PCIe接口,给NVMe SSD开发者,以及存储架构师很大的发挥空间。给不同的NS配置不同的数据保护机制,或者虚拟化,或者使用冗余容错提高系统可靠性,抑或别的设计,NVMe提供了这些基础设施,怎么玩就看你的想象力了。

4.参考文章:

【NVM Express Revision 1.3】
【http://www.ssdfans.com/?p=8157】

Logo

旨在为数千万中国开发者提供一个无缝且高效的云端环境,以支持学习、使用和贡献开源项目。

更多推荐