大数据基础（4）CDH 5.16.2 安装部署教程
目前Cloudera官方已经不再提供CDH相关软件包的下载了，所以需要通过其他渠道先获取相关软件包才能完成。
一、CDH介绍
CDH全称是Cloudera's Distribution Including Apache Hadoop。它是Hadoop大数据平台的一个发行版本，它把Apache原生大数据组件进行了封装，使得维护变得简单了不少。下图灰色方框内的就是Hadoop原生组件，可以看到包含了非常多的东西
二、使用Cloudera Manager部署CDH
1、准备至少三个节点，各节点之间做好hosts和SSH免密登录，过程略
2、各节点之间装好JDK 1.8，过程略
3、选取一个节点安装MySQL，安装过程可见MySQL分类里的相关文章
4、各个节点需要准备以下安装包
· cloudera-manager-centos7-cm5.16.2_x86_64.tar.gz：用来管理和分发hadoop、spark等组件到每个节点
· CDH-5.16.2-1.cdh5.16.2.p0.8-el7.parcel：cloudera-manager所需组件的离线安装包和验证文件，避免从网上拉取
· CDH-5.16.2-1.cdh5.16.2.p0.8-el7.parcel.sha：parcel包验证文件，如果没有该文件，在进行集群安装的时候会找不到对应的CDH版本
5、每个节点进行Cloudera Manager客户端和服务端配置
tar zxf cloudera-manager-centos7-cm5.16.2_x86_64.tar.gz -C /opt/
vi /opt/cm-5.16.2/etc/cloudera-scm-agent/config.ini #代理节点配置，指定主节点地址
server_host=node1
vi /opt/cm-5.16.2/etc/cloudera-scm-server/db.properties #服务端数据库信息配置
com.cloudera.cmf.db.type=mysql
com.cloudera.cmf.db.host=192.168.1.101
com.cloudera.cmf.db.name=cmf
com.cloudera.cmf.db.user=root
com.cloudera.cmf.db.password=123456
com.cloudera.cmf.db.setupType=EXTERNAL6、各节点安装所需依赖包
yum -y install psmisc libxslt zlib sqlite cyrus-sasl-plain cyrus-sasl-gssapi fuse fuse-libs redhat-lsb portmap mod_ssl openssl-devel python-psycopg2 MySQL-python
7、创建用户
useradd --system cloudera-scm
chown -R cloudera-scm:cloudera-scm /opt/cm-5.16.2
8、上传数据库驱动文件到Cloudera Manager指定目录中，数据库驱动文件可以在MySQL官网下载，本文使用的是5.1.44（https://downloads.mysql.com/archives/c-j/）
cp /usr/local/src/mysql-connector-java.jar /opt/cm-5.16.2/share/cmf/lib/
9、初始化数据库
#实测发现只需要通过mysql创建scm库即可 /opt/cm-5.16.2/share/cmf/schema/scm_prepare_database.sh mysql -h172.20.1.171 -uroot -p123456 --scm-host node1 scm root 123456 # --scm-host node1 scm：指定主节点地址以及对应的库名 # root 123456：数据库用户名和密码 mysql -uroot -p123456 mysql> create database cmf DEFAULT CHARACTER SET UTF8; #一定不能使用UTF8MB4否则会报Row size too large错误
10、上传CDH包到Cloudera Manager主节点
cp /usr/local/src/CDH-5.16.2-1.cdh5.16.2.p0.8-el7.parcel /opt/cloudera/parcel-repo/ cp /usr/local/src/manifest.json /opt/cloudera/parcel-repo/ cp /usr/local/src/CDH-5.16.2-1.cdh5.16.2.p0.8-el7.parcel.sha1 /opt/cloudera/parcel-repo/CDH-5.16.2-1.cdh5.16.2.p0.8-el7.parcel.sha #将sha1更名为sha cat CDH-5.16.2-1.cdh5.16.2.p0.8-el7.parcel.sha #parcel文件计算后的sha值和该文件中需要一致 sha1sum CDH-5.16.2-1.cdh5.16.2.p0.8-el7.parcel chown -R cloudera-scm:cloudera-scm /opt/cloudera
11、Cloudera Manager主节点关闭透明大页
#将命令添加到/etc/rc.local以便系统重启后依然生效 echo never > /sys/kernel/mm/transparent_hugepage/defrag echo never > /sys/kernel/mm/transparent_hugepage/enabled
12、启动Cloudera Manager
/opt/cm-5.16.2/etc/init.d/cloudera-scm-server start #CM主节点启动server即可
/opt/cm-5.16.2/etc/init.d/cloudera-scm-agent start #所有节点启动agent
13、服务启动后通过web进行管理，默认监听端口为7180，管理账号密码都是admin。在选择存储库这步时可以把远程仓库全部删掉，否则下载会非常耗时，用自己上传的parcel文件就可以了
14、进行群集安装时会对主机环境进行一些检查，可以根据提示做相应修改
15、勾选需要安装的组件
评论