Hive【非交互式使用、三种参数配置方式】

2023-09-15 20:11:25

前言

        今天开始学习 Hive,因为毕竟但凡做个项目基本就避不开用 Hive ,争取这学期结束前做个小点的项目。

        第一篇博客内容还是比较少的,环境的搭建配置太琐碎没有写。

Hive 常用使用技巧

交互式使用

就是我们正常的进入 hive 命令行下的使用模式。

非交互式使用

所谓非交互式,也就是不需要进入 hive 命令行,直接在我们 linux Shell 命令行中执行。

hive -e

# 一段带字符串的 SQL 
-e <quoted-query-string>    SQL from command line

案例: 

[lyh@hadoop102 hive-3.1.2]$ hive -e "insert into stu values(2,'lyh')"

hive -f

# 执行文件中的所有 SQL
-f <filename>    SQL from filename

案例:

将要执行的sql写入一个文件:

vim stu.sql
#写如以下sql 用分号隔开
insert into stu values(3,"ls");
select * from stu;

执行:

[lyh@hadoop102 ~]$ hive -f stu.sql 

Hive 参数配置方式

(1)查看当前所有的配置信息

hive> set;

(2)查看某个参数的配置信息

# 查看reduce开启的数量
hive(default)>set mapreduce.job.reduces;

(3)设置参数

1. hive-site.xml

这种设置参数的方式全局永久生效。

2. 命令行参数

启动 Hive 时,可以在命令行添加 -hiveconf param=value 的方式来设置参数。

这种设置参数的方式全局仅对本次 Hive 启动生效。

# 设置一个作业中reduce开启的数量
[lyh@hadoop102 hive-3.1.2]$ hive -hiveconf mapreduce.job.reduces=10;
3.参数声明方式

可以在 HQL 中使用 SET 关键字来设定参数:

hive(default)> set mapreduce.job.reduces=10;

同样,仅对本次Hive 启动生效。

查看参数设置:

hive(default)> set mapreduce.job.reduces;
总结

        上面三种参数设置方式的优先级为 hive-site.xml < 命令行参数 < 参数声明 。除了某些系统级的参数,比如 log4j 相关的设置,必须使用前两种设置方式,因为那些参数的读取已经在会话建立前已经完成了。

更多推荐

【记录成长】大学时光已过半, 分享我的大二暑期实习经历

你好,我是cpt,本文章记录我大二暑期找实习的过程,以及工作中的点点滴滴,还有一些经验分享,希望能够帮助到你。实习投递(BOSS1k沟通10+面)投递我是2023.6.16才开始投递的当时真的很晚了基本很少hc而且小公司基本不要大二学生下面这两篇短文是当时面试遇到的问题25三本鼠鼠投500面试0难QAQ_牛客网请问各位

Opengl绘制三角形

节点对象学习:顶点数组对象:VertexArrayObject,VAO顶点缓冲对象:VertexBufferObject,VBO:表示存储在GPU显存中的大量顶点数据。我们可以通过这个对象,一次性向GPU发送大量的数据,而不是一次次地从CPU中发送数据到GPU,这是个很慢的过程。元素缓冲对象:ElementBuffer

三步实现Mybatis(Mybatis-Plus)多数据源配置

前言要实现多数据源可以采用dynamic-datasource或者mybatis-mate,本文就以dynamic-datasource为例dynamic-datasource简介springboot快速集成多数据源的启动器使用文档(opensnewwindow)支持数据源分组,适用于多种场景纯粹多库读写分离一主多从混

SpringBoot实战案例:图书管理系统

SpringBoot实战案例:图书管理系统在本文中,我们将介绍如何使用SpringBoot框架构建一个简单的图书管理系统。我们将从零开始,逐步完成系统的搭建。本文将分为以下七个部分:系统需求分析搭建项目框架实现数据访问层实现业务逻辑层实现控制层前端页面与交互测试与部署1.系统需求分析在开始构建图书管理系统之前,我们首先

SpringBoot-接口幂等性

幂等幂等操作的特点是其任意多次执行所产生的影响均与一次执行的影响相同。幂等函数或幂等方法是指可以使用相同参数重复执行,并能获得相同结果的函数。这些函数不会影响系统状态,也不用担心重复执行会对系统造成改变。尤其是支付、订单等与金钱挂钩的服务,保证接口幂等性尤其重要。在实际开发中,我们需要针对不同的业务场景我们需要灵活的选

spring framework 5.2文档 - 控制反转 IoC 容器

IoC主题1.容器概述2.bean概述3.依赖注入(DI)4.Bean的范围5.定制一个beanSpring框架最重要的是控制反转(IoC)容器1.容器概述org.springframework.context.ApplicationContext接口代表SpringIoC容器,负责实例化、配置和组装bean。容器通过

竹云董事长董宁受邀出席香港第三届湾区元宇宙大会暨AIGC、RWA发展高峰论坛并作主题演讲

“一元初分,宇宙万仪”。9月16日,第三届湾区元宇宙大会暨AIGC、RWA发展高峰论坛在香港圆满落幕。全球权威机构、顶级专家学者、杰出企业家代表齐聚一堂,畅所欲言,全面总结分析元宇宙现状,综合研判元宇宙未来发展趋势。大会由香港区块链技术应用协会主办,粤港澳大湾区青年总会、香港国际投资总会、国际数据协会、联合国数字安全联

MySQL只同步单个表或多个表,非全部同步!

replicate-do-table是MySQL复制配置中的一个选项,它允许您指定要在从服务器上复制的表。如果您想要只复制主服务器上特定的表到从服务器,您可以使用这个选项。以下是如何操作replicate-do-table的步骤:停止从服务器:在从服务器上执行以下命令来停止复制:STOPSLAVE;编辑MySQL配置文

量化分析革新金融服务软件的三种方式

金融服务软件行业爱死量化分析了。为什么呢?因为在这个本质上不可预测的行业中,量化分析提供了一种确定性,或者至少是类似于确定性的东西。市场总是在变动,利润也起伏不定。交易达成了,然后落空,又再次达成,从交易大厅到董事会,纳秒级的差异可能成就巨大成功或带来重大损失。如果没有量化分析,我们难以预测这些事情会在何时、何地、以何

word快捷键、conda一些安装问题、坐标转换初阶

整理一下今天所学吧!用博客来记录还是比较理想的,因为可以时常观看。首先是word:上下标:ctrl+=,ctrl+shift+=斜体:ctrl+ialt+=插入公式!!!选中:shift+方向矩阵公式可以直接选中进行添加和修改。接着是一些环境:anaconda中,在c盘不好用时,去d盘打开首先需要给它初始化了:cond

etcd之读性能主要影响因素

1、Raft模块-线性读ReadIndex-节点之间的RTT延时、磁盘IO线性读时Follower节点首先会向Raft模块发送ReadIndex请求,此时Raft模块会先向各节点发送心跳确认,一半以上节点确认Leader身份后由leader节点将已提交日志索引(committedindex)封装成ReadState结构

热文推荐