Hive基本概念

1129-徐同学

发表文章数:61

热门标签

首页 » 大数据 » 正文

1.Hive简介

1.1 什么是Hive

Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供类SQL查询功能。本质是将sql语句转换成mapreduce的任务进行执行。

1.2 Hive的特点

可扩展

Hive可以自由的扩展集群的规模,一般情况下不需要重启服务。

延展性

Hive支持用户自定义函数,用户可以根据自己的需求来实现自己的函数。

容错

良好的容错性,节点出现问题SQL仍可完成执行。

2.Hive架构

用户接口:提供我们写sql的地方。
解析器:解析我们的sql语句,转换成mr的任务提交,准备执行。
元数据:记录我们hive的表与我们数据之间的映射关系。
执行器:mr执行。

3.Hive与Hadoop的关系

Hive利用HDFS存储数据,利用MapReduce查询分析数据。

4.Hive与传统数据库对比

Hive基本概念

5.HIVE的安装部署

5.1 derby版hive直接使用

1、解压hive

cd /export/softwares
tar -zxvf hive-1.1.0-cdh5.14.0.tar.gz -C ../servers/

2、直接启动 bin/hive

cd ../servers/
cd hive-1.1.0-cdh5.14.0/
bin/hive
hive> create database mytest;

5.2 使用mysql共享hive元数据

5.2.1 mysql数据库的安装(使用yum源进行安装,强烈推荐)

第一步:在线安装mysql相关的软件包

yum  install  mysql  mysql-server  mysql-devel

第二步:启动mysql的服务

/etc/init.d/mysqld start

第三步:通过mysql安装自带脚本进行设置

/usr/bin/mysql_secure_installation

第四步:进入mysql的客户端然后进行授权
进入mysql的客户端

mysql -uroot -p

进行授权

grant all privileges on *.* to 'root'@'%' identified by '123456' with grant option;
flush privileges;

5.3 使用方式

5.3.1 第一种交互方式:Hive交互shell

cd /export/servers/hive-1.1.0-cdh5.14.0
bin/hive

5.3.2 第二种交互方式:Hive JDBC服务

前台启动

cd  /export/servers/hive-1.1.0-cdh5.14.0
bin/hive --service hiveserver2

beeline连接hiveserver2

bin/beeline
beeline> !connect jdbc:hive2://node03.hadoop.com:10000

5.3.2 第三种交互方式:Hive命令

使用 –e 参数来直接执行sql的语句

bin/hive -e "use myhive;select * from test;"

使用 –f 参数通过指定文本文件来执行sql的语句

bin/hive -f hive.sql
标签:

拜师教育学员文章:作者:1129-徐同学, 转载或复制请以 超链接形式 并注明出处 拜师资源博客
原文地址:《Hive基本概念》 发布于2020-08-23

分享到:
赞(0) 打赏

评论 抢沙发

评论前必须登录!

  注册



长按图片转发给朋友

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

微信扫一扫打赏

Vieu3.3主题
专业打造轻量级个人企业风格博客主题!专注于前端开发,全站响应式布局自适应模板。

登录

忘记密码 ?

您也可以使用第三方帐号快捷登录

Q Q 登 录
微 博 登 录