Hive部署,hive客户端

2023-09-21 21:57:25

1、Hive部署

Hive是分布式运行的框架还是单机运行的？

  • Hive是单机工具，只需要部署在一台服务器即可。
  • Hive虽然是单机的，但是它可以提交分布式运行的MapReduce程序运行。

1.1、规划

我们知道Hive是单机工具后，就需要准备一台服务器供Hive使用即可。
同时Hive需要使用元数据服务，即需要提供一个关系型数据库，我们也选择一台服务器安装关系型数据库即可。

所以：
在这里插入图片描述

为了简单起见，都安装到node1服务器上。

1.2、步骤1：安装MySQL数据库

1.2.1、先联网

在这里插入图片描述

在ifcfg-ens33添加

DNS1=114.114.114.114

重启网络

service network restart

在这里插入图片描述
在这里插入图片描述

1.2.3、安装mysql
# 更新密钥
rpm --import https://repo.mysql.com/RPM-GPG-KEY-mysql-2022

# 安装Mysql yum库
rpm -Uvh http://repo.mysql.com//mysql57-community-release-el7-7.noarch.rpm

# yum安装Mysql
yum -y install mysql-community-server

# 启动Mysql设置开机启动
systemctl start mysqld
systemctl enable mysqld

# 检查Mysql服务状态
systemctl status mysqld

# 第一次启动mysql，会在日志文件中生成root用户的一个随机密码，使用下面命令查看该密码
grep 'temporary password' /var/log/mysqld.log

# 修改root用户密码
mysql -u root -p -h localhost
Enter password:
 

# 如果你想设置简单密码，需要降低Mysql的密码安全级别
set global validate_password_policy=LOW; # 密码安全级别低
set global validate_password_length=4;	 # 密码长度最低4位即可

# 然后就可以用简单密码了（课程中使用简单密码，为了方便，生产中不要这样）
ALTER USER 'root'@'localhost' IDENTIFIED BY 'root';

# 设置远程登录
grant all privileges on *.* to root@"%" identified by 'root' with grant option; 
# 刷新 
flush privileges;

1.3、步骤2：配置Hadoop

Hive的运行依赖于Hadoop（HDFS、MapReduce、YARN都依赖）。
同时涉及到HDFS文件系统的访问，所以需要配置Hadoop的代理用户。
即设置hadoop用户允许代理（模拟）其它用户。

配置如下内容在Hadoop的core-site.xml中，并分发到其它节点，且重启HDFS集群

  • 配置
<property>
    <name>hadoop.proxyuser.hadoop.hosts</name>
    <value>*</value>
  </property>

  <property>
    <name>hadoop.proxyuser.hadoop.groups</name>
    <value>*</value>
  </property>
  • 分发
    在这里插入图片描述
  • 重启hdfs
    先停再启
stop-dfs.sh

start-dfs.sh

1.4、步骤3：下载解压Hive

  • 切换到hadoop用户
su - hadoop

tar -zxvf apache-hive-3.1.3-bin.tar.gz -C /export/server/

在这里插入图片描述

  • 设置软连接
ln -s /export/server/apache-hive-3.1.3-bin /export/server/hive

在这里插入图片描述

1.5、步骤4：提供MySQL Driver包

mv mysql-connector-java-5.1.34.jar /export/server/hive/lib/

在这里插入图片描述

1.6、步骤5：配置Hive

1.6.1、hive-env.sh文件

在Hive的conf目录内，新建hive-env.sh文件，填入以下环境变量内容：

export HADOOP_HOME=/export/server/hadoop
export HIVE_CONF_DIR=/export/server/hive/conf
export HIVE_AUX_JARS_PATH=/export/server/hive/lib

在这里插入图片描述

在这里插入图片描述

1.6.2、hive-site.xml

在Hive的conf目录内，新建hive-site.xml文件，填入以下内容：

连接数据库时，用户名和密码要对应自己mysql设置的

<configuration>
  <property>
    <name>javax.jdo.option.ConnectionURL</name>
    <value>jdbc:mysql://bigdatanode1:3306/hive?createDatabaseIfNotExist=true&amp;useSSL=false&amp;useUnicode=true&amp;characterEncoding=UTF-8</value>
  </property>

  <property>
    <name>javax.jdo.option.ConnectionDriverName</name>
    <value>com.mysql.jdbc.Driver</value>
  </property>

  <property>
    <name>javax.jdo.option.ConnectionUserName</name>
    <value>root</value>
  </property>

  <property>
    <name>javax.jdo.option.ConnectionPassword</name>
    <value>root</value>
  </property>

  <property>
    <name>hive.server2.thrift.bind.host</name>
    <value>bigdatanode1</value>
  </property>

  <property>
    <name>hive.metastore.uris</name>
    <value>thrift://bigdatanode1:9083</value>
  </property>

  <property>
    <name>hive.metastore.event.db.notification.api.auth</name>
    <value>false</value>
  </property>

</configuration>

1.7、步骤6：初始化元数据库

支持Hive的配置已经完成，现在在启动Hive前，需要先初始化Hive所需的元数据库。

  • 在MySQL中新建数据库：hive
CREATE DATABASE hive CHARSET UTF8;

在这里插入图片描述

  • 执行元数据库初始化命令：
cd /export/server/hive

bin/schematool -initSchema -dbType mysql -verbos

在这里插入图片描述

在这里插入图片描述

初始化成功后，会在MySQL的hive库中新建74张元数据管理的表。
在这里插入图片描述

1.8、步骤7：启动Hive（使用Hadoop用户）

必须先启动hdfs和yarn

start-dfs.sh

start-yarn.sh

  • 确保Hive文件夹所属为hadoop用户
    在这里插入图片描述

  • 创建一个hive的日志文件夹：

mkdir /export/server/hive/logs

在这里插入图片描述

启动元数据管理服务（必须启动，否则无法工作）

  • 前台启动：bin/hive --service metastore
  • 后台启动：nohup bin/hive --service metastore >> logs/metastore.log 2>&1 &
    在这里插入图片描述在这里插入图片描述

启动客户端，二选一（当前先选择Hive Shell方式）

  • Hive Shell方式（可以直接写SQL）： bin/hive
 bin/hive

在这里插入图片描述

  • Hive ThriftServer方式（不可直接写SQL，需要外部客户端链接使用）： bin/hive --service hiveserver2

2、Hive体验

首先，确保启动了Metastore服务。
在这里插入图片描述

可以执行：bin/hive，进入到Hive Shell环境中，可以直接执行SQL语句。
在这里插入图片描述

2.1、创建表

CREATE TABLE test(id INT, name STRING, gender STRING);

在这里插入图片描述

2.2、插入数据

INSERT INTO test VALUES(1, '王力红', '男'), (2, '周杰轮', '男'), (3, '林志灵', '女');

在这里插入图片描述

2.3、查询数据

SELECT gender, COUNT(*) AS cnt FROM test GROUP BY gender;

在这里插入图片描述

2.4、验证Hive的数据存储

Hive的数据存储在HDFS的：/user/hive/warehouse中
在这里插入图片描述

2.5、验证SQL语句启动的MapReduce程序

打开YARN的WEB UI页面查看任务情况：http://bigdatanode1:8088
在这里插入图片描述

3、hive客户端

3.1、HiveServer2 & Beeline

3.1.1、HiveServer2服务

在启动Hive的时候，除了必备的Metastore服务外，有2种方式使用Hive：

  • 方式1： bin/hive 即Hive的Shell客户端，可以直接写SQL
  • 方式2： bin/hive --service hiveserver2
    后台执行脚本：nohup bin/hive --service hiveserver2 >> logs/hiveserver2.log 2>&1 &

bin/hive --service metastore，启动的是元数据管理服务
bin/hive --service hiveserver2，启动的是HiveServer2服务

HiveServer2是Hive内置的一个ThriftServer服务，提供Thrift端口供其它客户端链接
可以连接ThriftServer的客户端有：

  • Hive内置的 beeline客户端工具（命令行工具）
  • 第三方的图形化SQL工具，如DataGrip、DBeaver、Navicat等

Hive的客户端体系如下
在这里插入图片描述

  • 启动
    在hive安装的服务器上，首先启动metastore服务，然后启动hiveserver2服务。
nohup bin/hive --service metastore >> logs/metastore.log 2>&1 &

nohup bin/hive --service hiveserver2 >> logs/hiveserver2.log 2>&1 &

在这里插入图片描述

3.1.2、beeline
  • 在node1上使用beeline客户端进行连接访问。需要注意hiveserver2服务启动之后需要稍等一会才可以对外提供服务。
  • Beeline是JDBC的客户端，通过JDBC协议和Hiveserver2服务进行通信，协议的地址是：jdbc:hive2://node1:10000
/export/server/hive/bin/beeline

在这里插入图片描述

! connect jdbc:hive2://bigdatanode1:10000

在这里插入图片描述

3.2、DataGrip & DBeaver

我这里用idea连接数据库

3.2.1、idea

  • 在idea右边找到hive
    在这里插入图片描述

  • 配置连接，下载驱动
    在这里插入图片描述

  • 测试链接
    在这里插入图片描述
    在这里插入图片描述

  • 进行操作
    在这里插入图片描述

3.2.2、DBeaver

DBeaver的连接都是差不多的，注意的是DBeaver的hive驱动要自己下载并引入，默认提供的不能用。

结束！！！！
hy:41

													人所有的拖沓都是代表他并非真正热爱。
更多推荐

如何批量为文件夹命名

如果你想要命名一些这样名字具有规律性的文件夹，当文件的数量增多，一个一个命名是非常耗费时间的。很容易想到，如果使用EXCEL，只需往下拉，就能很轻松的拉出1到5。那么，我们如何利用EXCEL来对文件夹进行快速的批量命名呢？以上图为例子，人名可能是我们已知的，可以从表格直接复制过来。而客户名1到客户名5，我们可以直接使用

大数据Flink（六十四）：Flink运行时架构介绍

文章目录Flink运行时架构介绍一、系统架构二、​​​​​​​​​​​​​​整体构成三、作业管理器（JobManager）四、任务管理器（TaskManager）Flink运行时架构介绍我们已经对Flink的主要特性和部署提交有了基本的了解，那它的内部又是怎样工作的，集群配置设置的一些参数又到底有什么含义呢？接下来我们

基于vue的黑马前端项目小兔鲜

目录项目学习初始化项目建立项目引入elementpluselementPlus主题设置配置axios路由引入静态资源自动导入scss变量Layout页组件结构快速搭建字体图标渲染一级导航渲染吸顶导航交互实现Pinia优化重复请求Home页分类实现banner轮播图新鲜好物实现人气推荐实现懒加载指令实现产品列表实现Goo

正确设置PyTorch训练时使用的GPU资源

背景：最近在使用HuggingFace的transformersapi来进行预训练大模型的微调，机器是8卡的GPU，当我调用trainer.train()之后，发现8个GPU都被使用了，因为这个机器上面还有其他人跑的模型，当我进行训练的时候，GPU的使用率就接近了100%，这样导致其他人的模型响应速度特别的慢，因为他们

微信小程序如何刷新当前页面

微信小程序是一种快速发展的移动应用程序开发平台，它提供了许多功能和特性，使开发者能够轻松创建功能丰富的小程序。在开发小程序时，有时我们需要刷新当前页面来更新数据或重新加载页面内容。本文将解释如何在微信小程序中刷新当前页面的代码。引言微信小程序的流行使得越来越多的开发者将其作为构建移动应用的首选平台。然而，与传统的网页开

快速了解Apipost

随着数字化转型的加速，API（应用程序接口）已经成为企业间沟通和数据交换的关键。而在API开发和管理过程中，API文档、调试、Mock和测试的协作显得尤为重要。Apipost正是这样一款一体化协作平台，旨在解决这些问题，提高API开发效率和质量。Apipost提供API文档管理功能，让后端开发人员可以在开发完接口调试的

cookie信息无法获取问题研究

背景在oneapi这个前后端都有的开源项目中，我想接入chatnextweb到oneapi的后端。由于需要二开chatnextweb，添加登录注册功能，考虑到java后端的性能问题和内存占用，决定不重启写个服务，而是将登录注册接入到oneapi的登录注册api，没错，和oneapi的前端公用一套登录注册熬了个大夜后，终

GLTF编辑器：在线模型材质编辑工具

GLTF编辑器是一个功能强大、易于使用的在线3D模型编辑和查看工具，它支持多种格式的3D模型导入并将模型导出为GLB格式，除了可以对3D模型进行基本属性的修改之外，还支持对模型原点重置以及模型材质纹理修改。对于3D开发者和设计师来说，GLTF编辑器是一个非常有用的工具，可以帮助他们更方便地处理3D模型数据。1、首先介绍

VR全景技术在教育中的应用：VR教学的“因材施教”

随着科技的不断进步和发展，VR全景技术在教育领域的应用，给传统教育模式带来了新的变革和机遇，同时也促进了教育的创新和进步。VR教学模式可以打破传统教育的限制，通过模拟各种场景，让学生身临其境地学习多样化知识，感受不同国家的风土人情、拓展自身视野，这种具备沉浸感的学习体验可以很好的激发学生的学习兴趣和动力。VR教学可以构

vr飞机驾驶舱模拟流程3D仿真演示加大航飞安全法码

众所周知，航空航天飞行是一项耗资大、变量参数很多、非常复杂的系统工程，因此可利用虚拟仿真技术经济、安全及可重复性等特点，进行飞行任务或操作的模拟，以代替某些费时、费力、费钱的真实试验或者真实试验无法开展的场合，从而获得提高航空航天员工作效率或航空航天器系统可靠性等的设计对策。飞机飞行操作要求严、风险大且成本高，因此在真

windows RocketMQ与可视化监控平台安装

windowsRocketMQ与可视化监控平台安装安装日期2023.09.21最新版RocketMQ是一个纯Java、分布式、队列模型的开源消息中间件，搭建RocketMQ需要先配置JAVA环境变量,需要有JAVA_HOME。下载安装包进入官网选择需要的版本下载安装包（以下以5.1.3为例）。官网下载地址：官网下载编译

热文推荐
  1. FPGA板卡启动以及LED灯带调试

    环境配置软件：MobaXterm（free版本即可）下载教程参考：MobaXterm（终端工具）下载&安装&使用教程_蜗牛也不慢......的博客-CSDN博客Win32Disklmager下载教程参考：不分类工具：Win32DiskImager安装教程_win32disklmager安装教程_月挽的博客-CSDN博客

  2. 【计算机网络】——传输层

    //图片取自王道，仅做交流学习一、传输层提供的服务物理层、数据链路层、网络层是通信子网。传输层：它属于面向通信部分的最高层，同时也是用户功能的最低层为应用层提供通信服务使用网络层的服务网络层提供主机之间的逻辑通信。1、传输层的功能:1.传输层提供进程和进程之间的逻辑通信(即端到端通信)。网络层提供的主机到主机之间的通信

  3. 交叉编译错误：小心符号链接

    交叉编译在进行到链接环节时出现找不到库文件的错误，如下：一般来说，链接时出现库查找不到则需要将库路径添加到link_directories或者target_link_directories,这里说查找不到libblas.so.3和liblapack.so.3，那么查找这两个库的路径后发现，这个库路径是实实在在的添加到了

  4. Hadoop知识点之Hadoop发展历程

    一、Hadoop名字的起源Hadoop这个名字不是一个缩写，它是一个虚构的名字。该项目的创建者，DougCutting如此解释Hadoop：这个名字是我孩子给一头吃饱了的棕黄色大象命名的。我的命名标准就是简短，容易发音和拼写，没有太多的意义，并且不会被用于别处。小孩子是这方面的高手。Googol就是由小孩命名的。二、H

  5. spring-boot---validation，参数校验，分组，嵌套，各种类型

    写在前面：参数校验基本上是controller必做的事情，毕竟前端传过来的一切都不可信。但是每次if(StrUtil.isNotNull())啥的有时候多还难写。validation可以简化这一操作。文章目录项目构建问题展示validation使用快速入门注释Valid与Validated区别使用范围分组嵌套验证项目构

  6. 基于微信小程序的实验室预约管理系统设计与实现

    前言💗博主介绍：✌全网粉丝10W+,CSDN特邀作者、博客专家、CSDN新星计划导师、全栈领域优质创作者，博客之星、掘金/华为云/阿里云/InfoQ等平台优质作者、专注于Java、小程序技术领域和毕业项目实战✌💗👇🏻精彩专栏推荐订阅👇🏻2023-2024年最值得选的微信小程序毕业设计选题大全：100个热门选

  7. python/C++二分查找库函数（lower_bound() 、upper_bound，bisect_left，bisect_right）

    二分查找是一种经典的搜索算法，广泛应用于有序数据集中。它允许在大型数据集中高效地查找目标元素，减少了搜索的时间复杂度。本文将介绍在C++和Python中内置的二分查找函数，让二分查找变得更加容易。c++lower_bound()、upper_bound定义在<algorithm>头文件中,lower_bound和upp

  8. 大数据分布式处理框架Hadoop

    大数据是什么大数据容量常以TB、PB、甚至EB为单位，远超传统数据库的承载能力，无论入库还是查询都出现性能瓶颈。Hadoop是什么Hadoop是开源的分布式计算技术框架，用于处理大规模数据和实现分布式存储。Hadoop核心组件HDFS（HadoopDistributedFileSystem分布式文件系统）：是Hadoo

  9. 学习Nano编辑器：入门指南、安装步骤、基本操作和高级功能

    文章目录使用Nano编辑器入门指南引言1.1关于Nano编辑器1.2Nano的起源和特点安装Nano2.1在Debian/Ubuntu系统上安装Nano2.2在CentOS/RHEL系统上安装Nano2.3在其他Linux发行版上安装Nano启动Nano3.1命令行启动Nano3.2打开文件Nano的基本操作4.1光标