Lustre文件系统组件

来自Lustre文件系统
跳转至: 导航搜索

一个Lustre文件系统是由许多台彼此相连并配置了文件系统请求服务的机器组成。文件系统的主要作用是使用户可以读取、写入、锁定持久化数据。Lustre文件系统提供了这种功能,并且以可控的、常规的方式来扩展系统的大小和性能。

在生产环境中,Lustre文件系统通常由许多机器构成。每台机器都有明确定义的角色,这些角色共同构成了文件系统。要了解为什么Lustre能很好地扩展,并考虑Lustre是否适合您的用例,必须了解Lustre中这些机器的角色。一个典型的Lustre系统包括:

  • 一个及以上的客户端;
  • 一个元数据服务;
  • 一个及以上的对象存储服务。
图 1. 典型的Lustre系统

客户端

Lustre文件系统中的客户端表示需要请求数据的机器。客户端可以是一个计算节点、可视化节点或桌面节点。一旦客户端挂载了Lustre文件系统后,就可以像使用本地系统或NFS一样体验Lustre文件系统。

元数据服务

在Lustre文件系统中,有两个组件能够为元数据请求提供服务:元数据服务器(MDS,服务器节点)和元数据目标(Metadata Target,即MDT,存储元数据的HDD/SSD)。MDS和MDT共同响应类似于“文件XYZ的数据位于哪里?我是否有权限写入文件ABC?”等请求。

如果客户端要挂载一个Lustre文件系统,唯一需要的就是MDS的位置。目前,每个Lustre文件系统只有一个活动的MDS。MDS将文件系统的元数据保存在MDT中。

对象存储服务

Lustre中有两个组件负责存储和检索文件系统中的数据:对象存储服务器(OSS,服务器节点)和对象存储目标(OST,存储数据的HDD/SSD)。OSS 和 OST 共同向 Client 提供数据。

一个 Lustre 文件系统可以有一个或多个 OSS 节点。一个 OSS 通常连接两个到八个 OST 。为了增加Lustre文件系统的存储容量,可以增加额外的OST。为了增加Lustre文件系统的带宽,可以增加额外的OSS。

网络

Lustre使用LNET在客户端和服务器之间通过网络进行配置和通信。LNET旨在为不同类型的网络提供最大的性能,包括InfiniBand、以太网和Cray XP/XE系统等HPC集群内部的网络。

工具

Lustre文件系统使用修改后的e2fsprogs和tar版本。管理一个大型 Lustre 文件系统是一项大型任务,社区和供应商支持的工具简化了该任务。这些工具的详细信息请访问社区WIKI页面。