硬件设施

区域

区域（Zone）：云平台内最大的一个资源定义，包括：集群、二层网络、主存储等资源。

功能原理

在数据中心中，区域一般对应了一个机房。
区域定义了一个可见的边界，同一区域内的子资源互相可见并且可以形成某种关系，但不同区域内的子资源是不可见的，不能互相发生关系。

功能特点

区域隔离：
支持区域物理隔离，不同区域的主存储、物理机等物理子资源不互通，确保最大程度的稳定性和容错性。
可减少网络时延，提高访问速度。
资源管控：
每个区域可设置平台管理员。一个平台管理员可管理一个或多个区域。
每个项目的资源只能属于一个区域。
全局查看：
规划区域后，可在单独大屏查看某区域内所有的资源。支持按照KVM/vCenter分类进行查看资源使用情况。

区域支持以下操作：

操作	描述
创建区域	创建一个新的区域。
编辑区域	编辑区域的名称、简介信息。
启用区域	启用处于停用状态的区域。说明: 启用区域：启用区域会导致此区域下的所有集群及集群内所有物理主机均会被启用。
停用区域	停用选中的区域。说明: 停用区域，将同时停用该区域内所有子资源。停用区域会停用二层网络上加载的集群，导致二层网络和三层网络不可用，也不能用于创建云主机，但已有业务不受影响。区域停用后，用户可手动重新启用区域内的某些集群，也可创建新的集群到当前的区域中，而无需重新启用整个区域。
删除区域	删除选中的区域。说明: 删除区域会删除集群、物理机、网络、主存储、已接管的vCenter等资源，同时还会删除各资源下的所有子级资源（如VPC路由器），请谨慎操作。

注意事项

规划区域时，需注意：

同一个物理二层广播域中的物理机应该在同一个区域，可属于同一个集群或分属于多个集群。
同一个物理二层广播域不应该跨越多个区域，而应该映射为单个区域的二层网络。
同一个主存储不应该跨越多个区域，而应该映射为单个区域的主存储。
一个数据中心可以有多个区域。
一个区域可以加载一个或多个镜像服务器。
- 一个区域中的资源，例如主存储，只能访问加载在同一区域中的镜像服务器。
- 一个镜像服务器可以从一个区域中删除。删除后，区域中的资源不能再看见该镜像服务器。
- 当数据中心的网络拓扑改变导致一个镜像服务器不能再被一个区域中的资源访问时，可以将镜像服务器从区域中卸载。
- UI界面为便于管理镜像服务器和区域的关系，特别设置了一个镜像服务器在同一时间内只能加载到一个区域不能再加载到其它区域。UI界面上，添加镜像服务器，默认会加载到当前区域。删除区域的同时会直接删除加载此区域的镜像服务器。

集群

集群：一组物理机（计算节点）的逻辑集合。在数据中心中，一个集群一般对应了一个机架。

集群的目的：

用于提高整体系统的计算能力、IO能力。
提高服务的可靠性。
提升系统的规模扩展能力，降低系统的运维成本。

规划集群时，需注意：

集群内所有物理机须拥有相同的操作系统。
集群内所有物理机须拥有相同的网络配置。
集群内所有物理机须能够访问相同的主存储。
集群需加载主存储、二层网络后，才可提供云主机服务。
集群的规模，也就是每个集群中可以包含物理机的最大数量，没有限制。

以下对集群与各个资源之间的关系进行说明。

集群 | 区域

支持多集群操作。可在一个区域内创建多个集群，新增的物理机可以按需添加到不同的集群之中。

集群 | 主存储和二层网络

集群中可以加载或卸载主存储和二层网络。它们之间的结构关系如图 1所示：

说明:

主存储和二层网络加载到集群时需注意：

集群 | 主存储

一个主存储可以加载到多个集群。

一个集群可以加载多个主存储。

目前支持的同类型主存储场景如下：

一个集群可以加载一个或多个本地主存储。
一个集群可以加载一个或多个NFS主存储。
一个集群可以加载一个或多个Shared Block主存储。
一个集群可以加载一个Shared Mount Point主存储。
一个集群只能加载一个Ceph主存储。
一个集群只能加载一个AliyunNAS主存储，除此之外不能再加载新的存储。
一个集群只能加载一个AliyunEBS主存储，除此之外不能再加载新的存储。

目前支持的组合类型主存储场景如下：

一个集群可以加载一个本地主存储和一个NFS主存储。
一个集群可以加载一个本地主存储和一个Shared Mount Point主存储。
一个集群可以加载一个本地主存储和一个Shared Block主存储。
一个集群可以加载一个Ceph主存储和最多三个本地存储。
一个集群可以加载一个Ceph主存储和一个Shared Block主存储。
一个集群可以加载一个Ceph主存储和多个Shared Block主存储。

主存储与集群的依赖关系如表 1所示：

表 1. 主存储与集群关系
主存储	集群
Local Storage	支持加载一个或多个本地存储
NFS	支持加载一个或多个NFS
Shared Block	支持加载一个或多个Shared Block
Shared Mount Point	支持加载一个Shared Mount Point
Ceph	是加载到集群的Ceph，有且仅有一个
AliyunNAS	是加载到集群的AliyunNAS，有且仅有一个
AliyunEBS	是加载到集群的AliyunEBS，有且仅有一个
Local Storage + NFS	支持加载1个Local Storage + 1个NFS
Local Storage + SMP	支持加载1个Local Storage + 1个Shared Mount Point
Local Storage + Shared Block	支持加载1个Local Storage + 1个Shared Block
Ceph + LocalStorage	支持加载1个Ceph + 最多3个LocalStorage
Ceph + Shared Block	支持加载1个Ceph + 1个Shared Block 支持加载1个Ceph + 多个Shared Block

集群加载多个本地存储时，务必在添加物理机以及添加主存储之前，提前在物理机对应URL上做好分区，确保每个本地存储部署在独占的逻辑卷或物理磁盘上。
主存储可以被所在集群中的所有物理机访问。
如果数据中心的网络拓扑发生改变导致主存储不能被集群中的物理机继续访问，主存储可以从集群卸载。

集群 | 二层网络
- 一个集群可以加载一个或多个二层网络；一个二层网络可以加载到多个集群。
- 集群可以加载VXLAN Pool，VXLAN Pool下不同的VNI可用于创建不同的VxlanNetwork。
- 一个网卡只能创建一个NoVlanNetwork。
- 对于VlanNetwork，不同VLAN ID代表不同的二层网络。
- 如果数据中心的网络拓扑发生改变导致集群中的物理机不再在二层网络所代表的物理二层广播域中，二层网络也可以从集群卸载。

集群 | 镜像服务器

集群与镜像服务器没有直接依赖关系，一个镜像服务器可以为多个集群提供服务。

集群中所加载的主存储和镜像服务器具有相关性，如表 2所示：

表 2. 主存储与镜像服务器的关系
PS\BS	ImageStore	Ceph
Local Storage	○	×
NFS	○	×
Shared Mount Point	○	×
Ceph	○	○
Shared Block	○	×

当主存储为LocalStorage、NFS、Shared Mount Point类型时，镜像服务器的默认类型为ImageStore。
当主存储为NFS或Shared Mount Point类型时，可将相应共享目录手动加载到相应镜像服务器的本地目录上，从而使主存储和镜像服务器均能使用网络共享存储方式。
当主存储为Ceph类型时，镜像服务器可以使用同一个Ceph集群作为镜像服务器，也可以使用ImageStore类型的镜像服务器。
当主存储为Shared Block类型时，镜像服务器的默认类型为ImageStore。
当主存储为AliyunNAS类型时，镜像服务器的默认ImageStore。
当主存储为AliyunEBS类型时，镜像服务器的默认类型为AliyunEBS。

集群 | 物理机

停用集群后，会停用此集群下所有的物理主机，停用后，此集群就不能作为候选用于申请新资源，原本运行的云主机不受影响，但这些运行的云主机停止后就不能再次在此集群启动。
启用集群后，会同时启用此集群下所有的物理主机。

集群 | 全局设置

集群详情页的高级设置项，可以在集群粒度设置内存超分率、CPU超分率、物理机保留内存等。此设置只对该集群内的资源生效，如不设置则默认使用全局设置的值。
说明: 高级设置的数值需要根据不同系统和应用的需求进行配置，数值过大可能会严重影响性能，请谨慎操作。

集群 | 动态资源调度

动态资源调度（Distributed Resource Scheduler，简称DRS）：以集群为单位监控物理机CPU或内存负载情况，根据配置的调度策略，动态调整物理机上运行的云主机业务。

云平台支持手动和自动两种调度策略：手动调度策略提供调度建议，用户可按照调度建议手动迁移云主机。自动调度策略，由系统根据调度算法自动执行资源调度。两种调度策略均可平衡集群负载，且有效提高云平台稳定性。

请确保以下条件全部满足，动态资源调度功能才能正常工作：

确保集群内仅存在Ceph、Shared Block类型的主存储；
确保集群内所有物理机CPU型号一致；
确保集群内不存在已经绑定亲和组的云主机。

当以上条件全部满足，进入集群详情页的高级设置子页面，将动态资源调度开关开启，随后即可前往动态资源调度页面配置调度策略，配置策略完成后动态资源调度功能生效。

集群支持操作

集群支持以下操作：

操作	描述
创建集群	在当前区域内创建一个新的集群。
编辑集群	修改集群的名称与简介。
启用集群	将处于停用状态的集群启用。
停用集群	将处于启用状态的集群停用。说明: 停用集群，将同时停用该集群内所有物理机。集群停用后，用户可手动重新启用集群内的某些物理机，也可添加新的物理机到当前的集群中，而无需重新启用整个集群。
加载二层网络	将二层网络加载到集群。
卸载二层网络	将二层网络从集群卸载。说明: 卸载二层网络后，相应的云主机网卡将被卸载，请谨慎操作。
加载主存储	将主存储加载到集群。
卸载主存储	将主存储从集群卸载。说明: 将主存储从集群卸载，需要注意以下情况：此操作将导致该主存储上，与所选集群相关的云主机关机，影响业务运行，请谨慎操作。此操作将导致该主存储上，与所选集群相关的VPC路由器被删除，相关云主机的网络服务异常，请谨慎操作。此操作将导致该主存储上，与所选集群相关的云盘将不能正常使用，请谨慎操作。
删除集群	删除选中的集群。说明: 删除集群，将同时删除该集群内所有物理机。若主存储为本地存储（Local Storage），将同时删除物理机上的全部云主机、云盘和快照，请谨慎操作。

物理机

物理机：为云主机实例提供计算、网络、存储等资源的物理主机。该硬件设施是云平台的核心资产，云主机运行在物理机之上。

如图 1所示：

添加物理机注意事项

添加物理机需注意：

管理节点的管理IP需正常访问物理机的SSH端口以部署代理程序。
物理机的用户名须拥有sudo权限。
SSH端口需开启防火墙或iptables允许。
需支持Intel VMX|AMD SVM的硬件虚拟化特性。
添加或更改物理机的信息，需与实际环境相匹配。
物理机有一个字段managementIp，用于表示如果此物理机有多个IP的情况下，添加的IP地址用于管理节点对此物理机进行连接部署代理程序的IP。
管理节点会周期性的向物理机发送ping命令以检查通道的健康状态; 一旦某个物理机响应失败，或者ping命令超时，此物理机就会变为失联状态，失联后物理机上运行的云主机会变成unknown状态，待物理机恢复连接后，会再次同步其上云主机的状态。
管理节点会提供ntpdate时间服务器对各物理机进行时间同步。

物理机支持以下操作：

操作	描述	物理机状态
添加物理机	添加一个或多个物理机。	/
编辑物理机	编辑物理机名称、简介信息。	/
启用物理机	将处于停用状态的物理机启用。	停用
停用物理机	将处于启用状态的物理机停用。说明: 物理机停用后，该物理机上原有资源不受影响，但申请新资源时不可作为候选物理机。	启用
重连物理机	重新连接物理机。说明: 重连物理机操作一般用于物理机配置更新后。例如：物理机内存或者硬盘更新后，可通过重连物理机来更新数据库。	ALL
进入维护模式	物理机进入系统维护状态，可对此状态下的物理机进行物理停机、故障修复等操作。若主存储为本地存储：物理机进入维护模式后，其上云主机会停止。若主存储为共享存储：物理机进入维护模式后，其上云主机会自动迁移。说明: 共享存储场景下，物理机进入维护模式，用户可自行设置迁移云主机失败策略。设置方法：进入设置 > 平台设置 > 全局设置 > 高级设置 > 物理机，设置维护模式下迁移云主机失败策略：若选择强制停止云主机：物理机进入维护模式，共享存储上的云主机会自动迁移到其它物理机上。未迁移的云主机将会被强制关闭。若选择非强制停止云主机：物理机进入维护模式，共享存储上的云主机会自动迁移到其它物理机上。如果物理机上还存在运行中的云主机，则进入维护模式失败。	已连接
添加聚合口	对物理机上的物理网口进行聚合操作，实现网口高可用或业务负载均衡，支持主备、链路聚合两种聚合模式。主备模式支持聚合1-2个物理网口，建议聚合2个网口，一个网口作为主网口，其余网口作为备网口，主网口默认处理全部网络流量，主网口故障时，由备网口处理全部网络流量。链路聚合模式支持聚合1-8个物理网口，建议聚合至少2个网口，网络流量平均发送至各网口处理，实现负载均衡。链路聚合模式下，网络流量出口通过哈希运算决定，支持如下哈希策略： layer2+3：根据源MAC地址、目的MAC地址和IP地址进行哈希运算，决定数据包的发送网口。 layer3+4：根据IP地址和端口进行哈希运算，决定数据包的发送网口。支持TCP/IP协议栈。 layer2：根据源MAC地址和目的MAC地址进行哈希运算，决定数据包的发送网口。	ALL
开机	将物理机开机。	关机
关机	将物理机关机。说明: 关闭物理机可能会导致其上运行的云主机、VPC路由器、负载均衡实例等资源关机。为确保业务连续性和安全性，建议提前将物理机置入维护模式。若物理机同时被用作Ceph主存储的Mon节点，关闭物理机会同时关闭Ceph主存储Mon节点服务，影响存储集群稳定性，从而可能造成数据丢失。若物理机已被指定为迁移服务器，关闭物理机会导致其上正在执行的迁移任务失败。	开机/未知
重启	重新启动物理机。说明: 重启物理机可能会影响其上云主机、VPC路由器、负载均衡实例等资源的正常运行。为确保业务连续性和安全性，建议提前将物理机置入维护模式。若物理机同时被用作Ceph主存储的Mon节点，重启物理机会同时重启Ceph主存储Mon节点服务，影响存储集群稳定性，从而可能造成数据丢失。若物理机已被指定为迁移服务器，重启物理机会导致其上执行的迁移任务失败。	开机/未知
进入Web终端	进入物理机Web终端，对物理机进行操作。	开机/未知
绑定标签	为物理机绑定标签，选中一个或多个物理机。说明: 单个资源最多支持绑定50个标签，反之，单个标签支持绑定的资源数量无限制。标签-资源支持多对多绑定关系。租户创建的标签只能绑定到所属租户的资源，管理员标签可绑定到所有资源。管理员支持解绑/删除租户标签。资源标签按照绑定时间或标签名称（符号>数字>中文>英文）进行排序，可在设置 > 全局设置 > 基本设置中修改标签排序方式，默认按标签名称排序。	ALL
解绑标签	解除绑定物理机上的标签。说明: 管理员标签由管理员创建，归管理员所有，租户标签由租户创建，归租户所有。租户创建的标签只能绑定到所属租户的资源，管理员标签可绑定到所有资源。管理员支持解绑/删除租户标签。项目内的标签归属于项目所有，项目内所有人（项目负责人/项目管理员/项目成员）均可操作。标签暂不支持更改所有者操作。资源更改所有者，其上所有租户标签将会解绑，管理员标签不受影响。云平台无缝升级后，已有旧标签将自动更新，以最新方式展示标签。若有异常，请刷新浏览器或重新创建标签。支持将单个资源上的批量标签解绑，也支持将单个标签上的批量资源解绑。租户只能解绑所属租户资源上的标签，管理员可解绑所有资源上的标签。	ALL
更新IPMI信息	修改物理机IPMI用户名和密码。说明: 仅支持修改电源状态未知的物理机IPMI信息。	未知
更新SSH密码	更新物理机的SSH密码，密码更新后将自动重连物理机。	/
删除物理机	删除物理机。说明: 删除物理机需要注意以下情况：删除物理机，将会停止该物理机上所有云主机。若主存储为本地存储：若物理机所属集群挂载了本地存储（Local Storage），将同时删除物理机上的全部云主机和云盘。即使将已删除的物理机重新添加至云平台，系统也将重新部署该物理机，若之前数据库未备份，相关业务数据将无法恢复。若主存储为共享存储：若已关闭云主机高可用模式：删除云主机所在的物理机后，相应的云主机会停止。若已开启云主机高可用模式：删除云主机所在的物理机后，如其它物理机资源允许，该物理机上设置高可用的云主机会先停止，然后迁移到其它物理机上自动启动，且不会影响数据安全性；若物理机资源不足，相应的云主机会停止。删除物理机对共享存储上的数据云盘无影响。若物理机已被征用为迁移服务器，删除物理机将同时删除相应的迁移服务器，且该迁移服务器上正在执行的迁移任务将自动取消。	/

物理机使用注意事项

使用物理机需注意：

物理机维护模式，主要用于管理员对物理机进行计划关机实施维护操作，例如：添加内存/添加硬盘/更换网卡等。
物理机维护模式，若主存储为本地存储，则会停止此物理机上所有云主机，若主存储为共享存储，则会自动迁移其上云主机到可用物理机上，如果其他物理机资源不足，则会停止这些云主机。
物理机添加内存规范操作流程为：
1. 将物理机进入维护模式。
2. 等待物理机上所有云主机自动迁移完成或者停机，对物理机进行shutdown关机操作。
3. 物理机下电，添加内存。
4. 物理机通电后，通过手动或IPMI启动，成功引导操作系统。
5. 将物理机设置为启用状态。
物理机停用后，原本运行的云主机依然保持运行状态，如果停止后将不能使用此物理机启动。
物理机停用或维护后，此物理机不能再作为候选用于申请新资源，只有再次启用后，才可正常使用。
物理机失联或者进入维护模式后，才可删除物理机。
删除本地存储上的物理机会直接彻底删除此物理机上所有的云主机或云盘。这里的删除，只是移除物理机、云主机、云盘等信息在ZStack Cloud中的记录，并不删除真实的数据。
删除共享存储上的物理机，不会直接删除其上的云主机或云盘，这些资源可在其他物理机上重新启用或使用。
删除物理机后，即使再次添加回来，系统也将无法识别删除的云主机，需慎重删除。
如果打算使用GPU透传功能，物理机的BIOS需开启VT-d功能，添加物理机时，需勾选IOMMU选项，以扫描IOMMU设备。IOMMU启用状态为启用， IOMMU就绪状态为可用时，才可使用GPU设备透传功能。

物理机运维异常检查事项

物理机运维出现异常需检查：

管理节点日志：
在管理节点检查/usr/local/zstack/apache-tomcat/logs/management-server.log是否存在异常。
物理机agent进程：
在物理机检查ps -ef|grep kvmagent，检查kvmagnet代理进程是否存在异常。
物理机日志：
在物理机检查/var/log/zstack/zstack-kvmagent.log是否存在异常。
物理机libvirt状态：
在物理机检查service libvirtd status状态是否存在异常。
物理机系统日志：
在物理机检查/var/log/messages是否存在异常。
物理机与主存储连接：
检查物理机是否与主存储连接是否出现异常。