项目

来自Lustre文件系统
跳转至: 导航搜索

当前项目

功能 功能简介 负责人 跟踪号 目标版本
Data on MDT 第2阶段 优化 DNE + DoM,改进了迁移、打开时读取(read-on-open)、stat() 和readdir() 返回文件数据、glimpse-ahead、文件创建等功能。 Mike Pershin (Whamcloud) LU-10176 2.13
基于File heat的策略引擎 为客户端和OFD增加对象的新属性“file heat”,用来跟踪“热”文件 李希 (Whamcloud) LU-10602 2.13
文件级副本 (FLR) - 阶段3 纠删除码 提供了一种比镜像更节省空间的方法来添加文件数据副本。 Bobijam Xu (Whamcloud) LU-10911 2.14
OST Pool Quotas 通过配额限制OST池的使用 Sergey Chermencev (Cray) LU-11023 2.14
外部HSM协调器 增加在用户空间运行HSM协调器的功能,可以允许第三方控制HSM动作队列 Ben Evans (Cray) LU-10968 2.14
HSM控制数据迁移 允许HSM协调器控制数据迁移(`lfs migrate`),使得复制工具可以并行移动数据 Ben Evans (Cray) LU-6081 2.14
客户端数据加密 在将文件或目录(可能只是目录中的文件名)发送到服务器之前,在客户端上对其进行加密。这样可以避免将未加密的数据传输到网络上,或者在服务器上使用明文形式的数据(在客户端上加密,之后可以在从网络上获取下来解密,存储在磁盘前再加密)。 Sebastien Buisson (Whamcloud) LU-12275 2.15
在Lustre中增加自主压缩功能 为Lustre客户端和服务器引入压缩功能 Anna Fuchs Michael Kuhn (Universität Hamburg) LU-10026 2.15
元数据回写缓存 克服链路延迟,尤其在修改元数据等操作时。延迟问题在工作负载需要交互时较为突出 Oleg Drokin (Intel) LU-10938 2.15

将来的项目

功能 功能简介 联系人 跟踪号
RTDS(Real-Time Dynamic Striping,实时动态条带) 基于策略的Lustre条带框架 李希 (Whamcloud) LU-9809
OSP对MDT多重修改请求 提高跨MDT修改操作的性能。 Grégoire Pichon (Atos) LU-6864
目录级快照 目录级快照(DL-SNAP)是专为用户级文件备份而设计的。它将通过在ldiskfs之上使用写时复制机制来实现,而无需修改磁盘格式。 Kenichiro Sakai (Fujitsu) LU-11512
文件级副本 (FLR) - 阶段2 即时镜像写入 从客户端到多个OST的即时镜像写入。 Bobijam Xu (Whamcloud)

潜在的项目

这些项目是潜在的开发项目,正在寻找感兴趣的伙伴来实施或赞助开发人员实施。这其中许多项目都有更详细的描述,但是在开始实施之前,有必要联系lustre-devel邮件列表中的人员讨论。

功能 功能简介 复杂程度 跟踪号
ioctl()号码清理 清理Linux IOC编号以正确使用“size”字段,以便32位和64位内核和用户空间ioctl混合工作正常。 需要注意多个版本的用户空间兼容性应得到保障,因此不能简单地删除旧的ioctl() 号。 1 b=20731
更新手册 更新Lustre用户工具和lustreapi库的在线用户手册。为现有的lfs.1和lctl.8手册里每个子命令建立单独的页面,同时添加每个选项的描述,提供使用示例。 2 LU-4315
提高测试效率 改进acceptance-small.sh测试脚本的性能、效率和覆盖率。执行这个基本步骤,可在acceptance-small.sh的测试摘要中打印每个测试脚本的持续时间,显示出测试时间都花在了哪里。 3 b=23051
改进错误信息 审查和改进Lustre错误日志,发挥其更大的效用。 项目可升级成,更改核心Lustre错误日志处理机制,生成更好的结构化错误日志,使得这些错误日志便于管理、易于解析。 4
改进QOS轮巡对象分配器 改善LOV QOS分配器,使其永远进行加权轮询分配,而不是一旦OST空闲空间不平衡就退化为加权随机分配。 这样可以保持不断的平稳分配,避免QOS激活时OST分配出现失控的不平衡,同时也可为当前负载以及OST RAID重建等事件增加权重。 5 LU-9
ZFS ZIL支持 将对ZFS Intent Log(ZIL)的支持添加到Lustre的osd-zfs中 6 LU-4009
RPC回放签名 通过在处理时进行数字签名以及在重放时验证签名,让MDS/OSS决定客户端是否可以合法进行RPC回放。 6 b=18547
简化的互操作性 增加功能性,使服务器可以强制客户端丢弃所有锁,并删除未回应的RPC。 这将减少服务器执行彻底关闭时的恢复操作,而且可以避免Lustre服务器升级时的RPC回放问题。 已打开文件的恢复应通过在客户端生成新的open RPC来完成,而不是回放存储在回放列表中的RPC。这么一来,就可以移除一些处理打开RPC的特殊情况处理代码。 6 b=18496 LU-5703
策略引擎建议 针对FLR,HSM等的新策略引擎建议 6
虚拟Lustre块设备 Lustre对象lloop驱动将块设备导出到用户空间,绕过文件系统。 相关代码部分有效,已并入Lustre中。但存在正确性问题和潜在的性能问题,因此需要移植到新内核。 6 LU-6585
基于Lustre的交换分区 依赖于Lustre块设备。当内存紧张时无法正常工作,在这个问题解决前,该功能基本无效。 7 b=5498
大块目录操作 为了加速“ls -l”操作,提供大块元数据readdir/stat接口。 把目录项的所有inode属性,作为扩展的目录项数据的一部分,发送回去。而且在客户端上集成相关API。 每个目录项都将会返回更多的数据,因此需要更高效的大型Readdir RPC来传输数据。 7 b=17845
小文件IO聚合 小文件IO聚合(多对象RPC),大抵先从数据写入入手,也许之后提供数据读出,并与statahead结合。 7 b=944
本地对象零拷贝IO 客户端和本地OST对象之间的高效数据读写; 针对本地客户的优化;预计实现OSC和本地OFD/OSD之间的快速路径连接。 读取缓存应该保存在OSD上,而不是在客户端VFS级别上,以实现缓存在该OST所有使用者之间的共享。 9

历史项目

功能 功能简介 负责人 跟踪号 GA版本
强制性恢复 服务器通知客户端(通过MGS)故障目标已经在哪台服务器重新启动,以减少恢复期间的等待时间。 Jinshan Xiong (Intel) LU-19 2.2
LFSCK阶段11 - OI Scrub解决方案架构 通过OI Scrub检查并修复ldiskfs文件系统上的对象索引,使MDT文件系统能够进行文件级备份或还原。 Fan Yong (Intel) LU-957 2.3
LFSCK阶段1.5 - FID-in-Dirent与LinkEA一致性 增加LFSCK的功能,以与DNE文件系统合作使用,检查存储在MDT目录项和父目录LinkEA项中的Lustre FID以获取硬链接。 Fan Yong (Intel) LU-1866 2.4
LFSCK阶段2 - MDT与OST的一致性 增加LFSCK的功能,以检查MDT文件布局和OST对象之间的布局一致性。 Fan Yong (Intel) LU-1267 2.6
LFSCK阶段3 - DNE一致性 增强LFSCK以便支持DNE,包括远程目录项,以及多MDT情况下的的OST孤立对象。 Fan Yong (Intel) LU-2307 2.6
动态LNET配置 引入了一个用户空间脚本,从配置文件中读取路由信息,并使用lctl工具将这些路由信息动态添加到LNET。这种方式使得支持非常大的路由表成为可能。 Amir Shehata (Intel) LU-2456 2.7
LFSCK阶段4 - 性能调优 提高LFSCK的性能和效率。 Fan Yong (Intel) LU-6361 2.8
多个元数据RPCs 支持一个客户端上对多个元数据进行修改(在last_rcvd文件中),以改善单个客户端的多线程元数据性能。 Grégoire Pichon (Bull/Atos) LU-5319 2.8
DNE Phase IIb 增加跨MDT更新的异步提交的功能,以提高系统性能。增加远程重命名和远程硬链接功能。 Wang Di (Intel) LU-3534 2.8
Kerberos Revival 修复现有的Kerberos代码,经测试可用了。 Sébastien Buisson (Bull/Atos) LU-6356 2.8
文件系统默认的OST池 允许指定整个文件系统默认的OST池。 Lai Siyao (Intel) LU-7660, LU-7335 2.9
UID/GID映射 将远程客户端节点的UID/GID映射到MDS和OSS上的本地UID/GID,使得单个Lustre文件系统可在具有不同管理域的多个客户端间共享。 Stephen Simms (Indiana University) LU-3291 2.9
子目录挂载 增加客户端能够挂载Lustre文件系统的子目录的功能 Wang Shilong (DDN) LU-28 2.9
服务器端的建议和提示 添加了API和工具,可以向服务器或存储端,发送关于文件的访问模式的相关建议和提示 李希 (DDN) LU-4931 2.9
大块IO 将OST大块I/O最大数据量增加到16MB或更大,从而更有效地提交磁盘IO。 Shuichi Ihara (DDN) LU-7990 2.9
共享密钥加密 基于GSSAPI,使用对称共享密钥,进行节点验证或加密RPC, 避免了配置复杂的跨域Kerberos。 Stephen Simms (Indiana University) LU-3289 2.9
多轨LNet 增加同时使用多个LNet网络接口的功能,以提高可靠性和性能。 Amir Shehata (Intel), Olaf Weber (SGI) LU-7734 2.10
TBF策略优化 优化NRS/TBF策略,在TBF策略中增加基于NID/JOBID的复杂表达式 李希 (DDN) LU-5620 LU-7470 LU-8236 2.10
简化的用户空间快照 实现以文件系统的形式挂载ZFS对象的快照 Fan Yong (Intel) LU-8900 2.10
文件布局的改进 实现单个文件上的复合布局,用于文件级复本,Data on MDT,PFL等。 Jinshan Xiong, Niu Yawei (Intel) LU-3480 2.10
渐进的文件布局 允许复合文件布局在文件写入期间逐步具体化 Jinshan Xiong, Niu Yawei (Intel) LU-8998 2.10
项目配额 允许为文件指定一个“project”或“subtree”标识符,以对一个项目的磁盘使用进行核算和限制,独立于基于UID/GID的配额。 Shuichi Ihara (DDN) LU-4017 2.10
NRS延迟策略 使用NRS进行故障注入。有意延迟请求以模拟服务器负载。 Chris Horn (Cray) LU-6283 2.10
无补丁服务器 删除Lustre内核补丁,使Lustre服务器更容易地移植到新的内核,而无须改变供应商的内核RPM包。 Oleg Drokin (Intel) LU-20 2.10
异步的Lock ahead 允许用户空间的程序在需要使用之前,提前请求LDLM范围锁。 旨在优化共享文件IO。 Patrick Farrell (Cray) LU-6179 2.11
Data on MDT 将小文件直接存储在MDT上,以减少RPC次数并提高性能。 Mikhail Pershin (Intel) LU-3285 2.11
文件级副本 (FLR) - 阶段1 延迟镜像 使用用户空间工具延迟同步文件,可以将文件镜像到同一名称空间中的多个OST上。 Jinshan Xiong (Intel) LU-3254 2.11
通过变更日志审核Lustre 引入Lustre审核功能,旨在能够跟踪对Lustre上文件的所有访问 Sebastien Buisson (DDN) LU-9727 2.11
Lazy size on MDT Lazy size on MDT (LSOM)提供一种从MDS上直接获取“lazy”文件大小的方法,而不用再从OSS上获取文件大小。 李希 (DDN) LU-9538 2.12
配置“保存/编辑/还原”功能 在writeconf之后,需要能够备份、编辑、恢复客户端或 MDS、OSS的 配置日志文件。 原因之一,如果配置日志文件损坏,则需要对其进行修复;原因之二,所有的文件系统可调参数(包括所有OST池的定义)都存储在配置日志中,而它们在writeconf完成后将会丢失。 将配置日志转存至YAML格式的纯文本文件,并进行编辑、恢复,使管理变得更加简单。 Ben Evans (Cray) LU-4939 2.12
持久客户端缓存 在Lustre客户端上提供一组本地缓存的新框架。 李希, Yingjin Qian (Whamcloud) LU-10092 2.13
自扩展式布局 通过利用布局中的扩展空间来避免ENOSPC Vitaly Fertman (Cray) LU-10070 2.13