Skip to Content
操作指南集群管理集群创建

集群创建

可在列表页点击“创建集群”按钮进入创建页面进行集群创建:

基础配置

  • 集群框架:根据应用场景的不同,可选择不同的集群框架。

    • Hadoop框架:集群中同时部署HDFS和YARN,适用于存储和计算在同一集群。

    • HDFS框架:集群中仅部署HDFS。用于做存储集群,有专属的HDFS节点机型。

    • 计算框架:不部署HDFS,仅部署YARN。

    HDFS框架和计算框架适用于存储计算分离架构。HDFS集群可作为多个独立计算集群的存储集群。 计算集群和存储集群(Hadoop框架、HDFS框架)的关系是多对一。可以在集群详情页看到已经联通的集群。

  • 发行版:发行版命名方式:uhadoop [ 版本号 ],每个发行版中有多个大数据生态软件,如HBase、Spark、Hive等。

  • 框架版本:集群中 Hadoop 的版本,不同发行版的框架版本不同。

  • 集群种类:不同种类代表集群会安装不同的集群软件。未在此处选择的软件,也可在集群创建完成后,通过集群管理添加。

  • 元数据独立管理:若选择元数据独立管理,则UHadoop会将Hive元数据存储到独立的UDB MySQL数据库中。同一项目中的多个UHadoop集群可以访问同一元数据库,具体见元数据管理

节点配置

集群包括Master、Core、Task三类节点,具体说明如下:

  • Master节点:管理节点,负责协调整个集群服务。一个集群中有且仅有两个管理节点,一主一备,保证高可用。 除了基础服务(如Hadoop、Hive、HBase)的管理端部署在Master上外,一些插件(如Hue、Oozie、Sqoop2、Airflow)也会安装于Master节点上。

  • Core节点:核心节点,用于存储数据(HDFS)与运行任务。由于核心节点用于存储数据,因此数量须大于等于3(默认集群文件副本数配置为3),您可以根据业务需求添加更多的核心节点。其中Core1节点兼具管理节点特性,部署Zookeeper等服务,操作时需要留意。

  • Task节点:任务节点,用于执行任务。任务节点不存储数据,您可以在集群运行期间动态进行添加和删除。

根据用户实际场景按需进行节点配置,节点支持动态扩缩容、纵向升配与存储扩容,也可在集群使用过程中动态调整集群规格。