在Azure上创建Lustre集群

来自Lustre文件系统
跳转至: 导航搜索

下面将介绍展示如何在微软的Azure基础架构上创建Lustre集群的步骤。从Azure市场中的Lustre模板开始。

你需要一个Azure账户。

登录到您的帐户,并进入面板。您可以从任何地方点击GUI左上角的蓝色"Microsoft Azure"进入面板。

请点击 "创建资源(Create a resource)",准备开始部署Lustre的新实例。

图 1. Azure面板

在搜索框中输入"lustre"并按回车键。由于某些原因,开始显示的单词补全功能没有达到预期效果。

图 2. 新建资源界面

在计算分类中选择"Lustre on Azure"。

图 3. 开始界面

点击"Create"。

图 4. Lustre on Azure界面

在"Basics"界面中,请填写模板中的字段。

Lustre文件系统名称(Lustre Filesystem name) - Lustre文件系统的名称,也是OVM主机名称的前缀。例如,这里指定为ldemo,所以我们的MGS节点将是ldemomgs。

用户名(Username) - 管理员账户的用户名。

认证类型(Authentication type) - 可以选择使用密码或密钥。可以在这里剪切并粘贴一个公钥。对于windows,可以将私钥加载到puttygen中,然后将openssh版本的公钥剪切并粘贴到框中。无论在这里执行什么操作,都会传递到Lustre Cluster中的所有虚拟机中。

资源组(Resource Group) - 资源组(组成Lustre集群的资源)的唯一名称。可以创建一个新的资源组或使用现有的资源组(必须为空)

位置(Location) - 从下拉列表中选择您要部署的Azure区域。

完成字段填写后,点击"确定(OK)"以跳转到下一个界面。

图 5. Basics面板

在"Lustre网络设置"中,填写以下模板字段。

Lustre虚拟网络(Lustre virtual network) - 这是虚拟机将使用的虚拟网络。您可以创建新网络或使用现有网络。

Lustre子网(Lustre Subnets) - 这是虚拟机使用的子网。如果使用新的虚拟网络,将创建一个新的子网。

MGS的公共IP地址名称(Public IP address name for MGS) - 这是公共IP地址的资源名称。不是 MGS的主机名,也就是您将通过ssh进入的主机名。

您可以创建一个新的或使用现有的公共IP地址名称。如果您选择 "无",您可能无法在集群中进行ssh。

公共IP地址的DNS前缀(DNS Prefix for public IP Address) - 这是公共MGS节点的主机名。请注意,方框下面是公有地址的其余部分。

完成"Lustre子网"后,点击"OK"回到"Lustre网络设置",再次点击"OK "进入下一个界面。

图 6. Lustre网络设置

在"管理服务器设置(Management Server Setting)"中,您可以选择管理服务器的虚拟机类型(MGS)。

如果您想选择不同的大小,请点击 "更改大小(Change size)"。

完成后,点击"OK",进入下一个界面。

图 7. 管理服务器设置

在"元数据服务器设置(Metadata Server Settings)"中,可以选择元数据服务器(MDS)的虚拟机类型。

如果你想选择不同的大小,请点击 "更改大小(Change size)"。

如果要更改元数据目标大小 (MDT),请单击"每个MDT磁盘的大小(Size of each MDT disk)"的下拉菜单,默认设置为512GB。

注意:MDT不是虚拟机启动盘,而是Lustre元数据磁盘。

完成后,点击"OK"进入下一个画面。

图 8. 元数据服务器设置

在 "对象存储服务器设置(Object Storage Servers Settings)"中,首先输入您要使用的对象存储服务器 (OSS) 的数量。默认值为2。

然后选择对象存储服务器(OSS)的虚拟机类型。

如果你想选择不同的大小,请点击 "更改大小(Change size)"。

同时选择将附加到您的OSS的3个OST中的每个OST的大小。

完成后,点击"OK"进入下一个界面。

图 9. 对象存储服务器设置

在 "计算客户端设置"中,客户端的lustre映像是免费的。您只需支付虚拟机的费用。

首先输入计算客户端的数量。默认为2。

如果您想选择不同的大小,请点击 "更改大小(Change size)"。

完成后,点击"OK",进入下一个界面。

图 10. 用户设置

在"总览(Summary)"界面,会显示已输入的内容。

确认输入的信息,完成后点击"OK"。

图 11. 总览界面

阅读使用条款并购买您的Lustre文件系统。

输入姓名、电子邮件地址和电话号码

完成后点击"创建(Create)"

图 12. 购买

接下来,你会看到正在进行部署的面板通知...

图 13. 部署面板

点击 "部署中...(Deployment in progress...)",您将看到您的部署状态。

图 14. 部署界面

一旦状态变为"您的部署已完成(Your deployment is complete)"

点击"输出(Outputs)"查看 "Lustre Gred报告"(例ganglia)。

图 15. 部署完成界面

在 "输出(Outputs)"界面中,

mgsNID - 这是MGS的私有IP地址。

mgsDomainName - 这是MGS的公共主机名。

gangliaURL - 这是查看网格报告的URL。

mountCommand - 这是挂载lustre的命令。所有在此部署中创建的计算客户端都应该挂载,如果还没有挂在,请在客户端运行'mount -a'命令。

图 16. 输出界面

在不同的浏览器上复制并粘贴"gangliaURL"来查看网格报告。

图 17. 网格报告

要访问服务器(MGS、MDS、OSS),我们必须通过MGS的公网IP。

在部署完成"概述(Overview)"界面中,点击以mgs结尾的虚拟机名称,本例中为"ldemomgs"。

图 18. 概述界面

在MGS虚拟机界面上,点击"连接(Connect)"查看右侧的信息。

选择"SSH",然后复制登录命令并粘贴到你的终端上。

图 19. ldemomgs界面

如果你需要访问集群中的其他节点,并且已经使用了密钥选项,你将有两个选择。

最好的方法是运行ssh-agent和启用转发的ssh,这样MGS节点就可以从你的工作站获取私钥。

另一种不太安全的方法是将你的私钥复制到MGS上,这样就可以用来访问其他节点。


类似的方法可以用来访问"client0"(client0作为访问所有计算客户端的网关)。