从零开始搭建个人大数据集群(4)--HIVE 3.1.2安装
从零开始搭建个人大数据集群--环境准备篇 从零开始搭建个人大数据集群(1)--zookeeper 从零开始搭建个人大数据集群(2)--HDFS 从零开始搭建个人大数据集群(3)--YARN 1.参考我上面的文章安装好zookeeper和hadoop 2.准备好apache-hive-3.1.2-bin.tar.gz 3.选择一台服务器安装好MySQL,我安装的版本是MySQL5.7.34 cd /opt/packages tar -zxf apache-hive-3.1.2-bin.tar.gz -C ../apps ln -s apache-hive-3.1.2-bin hive JAVA_HOME=/usr/local/jdk ZOOKEEPER_HOME=/opt/apps/zookeeper HADOOP_HOME=/opt/apps/hadoop HADOOP_COMMON_HOME=${HADOOP_HOME} HADOOP_HDFS_HOME=${HADOOP_HOME} HADOOP_MAPRED_HOME=${HADOOP_HOME} HADOOP_YARN_HOME=${HADOOP_HOME} HADOOP_CONF_DIR=${HADOOP_HOME}/etc/hadoop LD_LIBRARY_PATH=$HADOOP_HOME/lib/native:/usr/lib64 HIVE_HOME=/opt/apps/hive HIVE_CONF_DIR=${HIVE_HOME}/conf export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$HIVE_HOME/bin:$ZOOKEEPER_HOME/bin hive-site.xml可以直接下载我配置好的文件,在此基础上修改 hive-site.xml cd /opt/apps/hive/conf cp hive-default.xml.template hive-site.xml mv hive-env.sh.template hive-env.sh mv hive-log4j2.properties.template hive-log4j2.properties 主要是需要改数据库以及hdfs相关配置,可以根据name标签值在我上传的hive-site.xml文件里查找修改为你自己想要的配置,hive-site.xml原始文件中第3125行有错误,在我的文件中我直接删掉了那一行 javax.jdo.option.ConnectionURL jdbc:mysql://hd5:3306/hive_meta mysql连接 javax.jdo.option.ConnectionDriverName com.mysql.jdbc.Driver mysql驱动 javax.jdo.option.ConnectionUserName hive 数据库使用用户名 javax.jdo.option.ConnectionPassword 000000 数据库密码 hive.metastore.warehouse.dir /hive/warehouse hive使用的HDFS目录 hive.metastore.schema.verification false metastore start 在客户端使用时,mysql连接和metastore同时出现在配置文件中,客户端会选择使用metastore hive.metastore.uris thrift://hd1:9083 metastore服务器URL hive.server2.authentication NONE 身份验证模式,默认为NONE。选项为NONE(使用普通SASL),NOSASL,KERBEROS,LDAP,PAM和CUSTOM。 hive.server2.thrift.bind.host hd1 hive开启的thriftServer地址 hive.server2.thrift.port 10000 hive开启的thriftServer端口 hive.server2.enable.doAs true 默认情况下(true),HiveServer2以提交查询的用户身份执行查询处理。但是,如果将以下参数设置为false,则查询将作为hiveserver2进程运行的用户运行。 datanucleus.autoCreateSchema false creates necessary schema on a startup if one doesn't exist.
https://www.kingc.top/archives/cong-ling-kai-shi-da-jian-ge-ren-da-shu-ju-ji-qun-4hive