Hadoop集群搭建及Hive的安装与使用

1、集群安装与配置

以centos为例，首先创建4台虚拟机，分别命名为hp001、hp002、hp003、hp004。

安装成功后，然后分别修改主机名（hp002、hp003、hp004同hp001）。

vim /etc/sysconfig/network? ? ? ? ? ? ? ? ? ? ? # 编辑network文件修改

hostname hadoop1

cat /etc/sysconfig/network? ?

cat /etc/sysconfig/network?

NETWORKING=yes

HOSTNAME=hp001

再修改/etc/hosts文件（hp002、hp003、hp004同hp001），本机IP对应主机名。

2、shell脚本编写

配置ssh

注意在root账号下创建，否则没有权限。

1)安装ssh

yum apt-get install ssh

2)生成密钥对

ssh-keygen –t? rsa –P ‘’ –f ~/.ssh/

cd? ~/.ssh

3)导入公钥数据到授权库中

cat? ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

scp? /root/.ssh/*? hp002@:/root/.ssh/

scp? /root/.ssh/*? hp003@:/root/.ssh/

scp? /root/.ssh/*? hp004@:/root/.ssh/

4)登录其他机器：

ssh? hp002

Ifconfig

2、scp

3、rsync 远程同步工具 主要备份和镜像支持链接，设备。

? ? rsync –rvl /soft/* hadoop@hp002:/soft

4、自定义脚本xsync，在集群上分发文件，循环复制文件到所以节点的相同目录下,

在hp001主机上/usr/loca/bin下创建xsync文件

然后 vi xsync编写如下代码保存

#!/bin/bash

pcount=$#

if(( pcount<1 )) ; then

echo no args;

exit;

fi

#获取文件名称

p1=$1;

fname=`basename $p1`;

dname=`cd -P $(dirname $p1) ; pwd`

curse=`whoami`;

for(( host=2 ; host<5; host=host+1 )) ; do

? echo ===================== copy to hp00$host ============

? rsync -rvl? $dname/$fname $curse@hp00$host:$dname;

done

? echo ========================== end =====================

4、编写/usr/local/bin/xcall脚本，在所有主机上执行相同的命令。

例如：xcall rm –rf /soft/jdk

在hp001主机上/usr/loca/bin下创建xcall文件

然后 vi xcall编写如下代码保存

#!/bin/bash

pcount=$#

if(( pcount<1 )) ; then

echo no args;

exit;

fi

#

echo =========== localhost =========

$@

for(( host=2 ; host<5; host=host+1 )) ; do

? echo ===================== exe hp00$host ============

? ssh hp00$host $@

done

? echo ========================== end =====================

3、各主机jdk安装

下载jdk上传到hp001上

jdk_1.8.0_131.tar.gz

tar -zxvf jdk_1.8.0_131.tar.gz到/usr/local/jdk目录下

然后用xsync命令分别在hp002、hp003、hp004创建/usr/local/jdk目录，用xcall

命令分别复制到hp002、hp003、hp004。

配置jdk环境变量，etc/profile文件中

export JAVA_HOME=/usr/local/jdk

export PATH=.:$JAVA_HOME/bin:$PATH

export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

export JRE_HOME=$JAVA_HOME/jre

用xcall命令分别复制到hp002、hp003、hp004的etc/profile文件中。

验证安装是否成功

4、Hadoop集群搭建

1、本机集群机器：四台对应hadoop1、hadoop2、hadoop3、hadoop4

hadoop1 ? ? ? node1作为名称节点

hadoop2 ? node2作为辅助名称节点

hadoop3 ? node3作为数据节点

hadoop4 ? node4作为数据节点

安装hadoop

创建目录/home/hadoop/bigdata/，下载hadoop-2.7.2.tar.gz，上传解压tar -zxvf hadoop-2.7.2.tar.gz。用xcall命令分别复制到hp002、hp003、hp004。

3、配置环境变量etc/profile文件中

export HADOOP_HOME=/home/hadoop/bigdata/hadoop-2.7.2

export PATH=.:$HADOOP_HOME/sbin:$HADOOP_HOME/bin:$PATH

用xcall命令分别复制到hp002、hp003、hp004的etc/profile文件中。

验证安装成功

hadoop version

hadoop集群配置

完全分布式配置方式：配置文件/home/hadoop/bigdata/hadoop-2.7.2/etc/hadoop/下的四个xml文件。

core-site.xml

<configuration>

? ? ? ? <property>

? ? ? ? <name>fs.defaultFS</name>

? ? ? ? <value>hdfs://hp001</value>

? ? </property>

? ? <property>

? ? ? ? <name>hadoop.tmp.dir</name>

? ? ? ? ? <value>/home/hadoop/bigdata</value>

? ? </property>

</configuration>

hdfs-site.xml

<configuration>

? ? ? ? <property>

? ? ? ? ? ? ? ? <name>dfs.replication</name>

? ? ? ? ? ? ? ? <value>3</value>

? ? ? ? </property>

? ? ? ? <property>

? ? <name>dfs.namenode.secondary.http-address</name>

? <value>hp002:50090</value>

? ? </property>

</configuration>

mapred-site.xml

<configuration>

? ? ? ? <property>

? ? ? ? ? ? ? ? <name>mapreduce.framework.name</name>

? ? ? ? ? ? ? ? <value>yarn</value>

? ? ? ? </property>

</configuration>

yarn-site.xml

<configuration>

? ? ? ? <property>

? ? ? ? <name>yarn.resourcemanager.hostname</name>

? ? ? ? <value>hp001</value>

? ? </property>

? ? <property>

? ? ? ? <name>yarn.nodemanager.aux-services</name>

? ? ? ? <value>mapreduce_shuffle</value>

? ? </property>

</configuration>

/home/hadoop/bigdata/hadoop-2.7.2/etc/hadoop/slaves文件修改为

hp003

hp004

在集群上分发以上5个文件

cd /home/hadoop/bigdata/hadoop-2.7.2/etc/hadoop

xsync core-site.xml

xsync hdfs-site.xml

xsync mapred-site.xml

xsync yarn-site.xml

xsync slaves

6、首次启动hadoop

1)格式化文件系统

$>hadoop namenode -format

2)启动所有进程

$>start-all.sh

3)查询进程

$>xcall jps

4)停止所有进程

$>stop-all.sh

5)查看文件系统

$hadoop fs -ls

6)创建文件系统

$>hadoop fs –mkdir –p /user/Ubuntu/data

$>hadoop fs –ls –R /

7、Hadoop包含三个模块

1)Hadoop common：

支持其他?？榈墓ぞ吣？?/p>

2)Hadoop Distributed File System (HDFS)

分布式文件系统，提供了对应用程序数据的高吞吐量访问。

进程：

NameNode? 名称节点 NN

DataNode 数据节点 DN

SecondaryNamenode? 辅助名称节点 2ndNN

3)Hadoop YARN：

作业调度与集群资源管理的框架。

进程

ResourceManager? ? ? ? ? ? ? 资源管理 — RM

NodeManager? ? ? ? ? ? ? ? ? 节点管理器—NM

4)Hadoop MapReduce:

基于yarn系统的对大数据集进行并行处理技术。

8、使用webui访问hadoop? hdfs

1)? hdfs? ? ? ? http:/hp001:50070

2)? dataNode? ? http://hp003:50075

3)? 2nn http://hp002:50090

五、hive安装与使用

1、下载hive

下载apache hive -2.3.4.bin.tar.gz

2、安装hive

? cd? /home/hadoop/bigdata/

? tar -zxvf Apache Hive -2.3.4.bin.tar.gz

? ln -s? apache hive -2.3.4.bin? apache hive

3、配置环境变量etc/profile文件中

export HIVE_HOME=/home/hadoop/bigdata/apache-hive

export PATH=.:$HIVE_HOME/bin:$PATH

4、查看是否安装成功

hive --version

配置hive

修改/home/hadoop/bigdata/apache-hive/conf/hive-env.sh文件指定hadoop目录

/home/hadoop/bigdata/apache-hive/conf/hive-default.xml.template 默认配置文件不要修改

创建hive-site.xml：/home/hadoop/bigdata/apache-hive/conf/hive-site.xml，替换hive-site.xml中${system:java.io.temp.dir}=/home/hadoop/bigdata/apache-hive。

7、配置Hive元数据库

Hive使用rdbms存储元数据，内置derby数据库。在/home/hadoop/bigdata/apache-hive/bin/目录下初始化schema库，要启动hadoop集群：

Schematool --initSchema -dbType derby

hive启动

进入hive shell

$hive启动后如下图。

Hive元数据库mysql使用及常用命令

Hive配置

Hive常见命令类似于mysql，本例子用mysql作为hive元数据库，首先配置hive-sxit.xml的mysql数据库驱动信息。

<property>

? ? <name>javax.jdo.option.ConnectionURL</name>

? ? <value>jdbc:mysql://192.168.0.100:3306/hivedb</value>

? ? <description>

? ? ? JDBC connect string for a JDBC metastore.

? ? ? To use SSL to encrypt/authenticate the connection, provide database-specific SSL flag in the connection URL.

? ? ? For example, jdbc:postgresql://myhost/db?ssl=true for postgres database.

? ? </description>

? </property>

<property>

? ? <name>javax.jdo.option.ConnectionDriverName</name>

? ? <value>com.mysql.jdbc.Driver</value>

? ? <description>Driver class name for a JDBC metastore</description>

<property>

? ? <name>javax.jdo.option.ConnectionUserName</name>

? ? <value>root</value>

? ? <description>Username to use against metastore database</description>

? </property>

<property>

? ? <name>javax.jdo.option.ConnectionPassword</name>

? ? <value>123456789</value>

? ? <description>password to use against metastore database</description>

? </property>

? </property>

Mysql数据库配置

1)创建数据库hivedb

2)赋予hive连接mysql用户的权限

GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY '123456789' WITH GRANT OPTION

将mysql的驱动包放到hive下

放在/home/hadoop/bigdata/apache-hive/lib/下

4)使用schematool初始化元数据。

schematool --initSchema -dbType mysql

HDFS存储位置配置

Hive配置文件里要用到HDFS的一些路径，需要先手动创建。

hadoop fs -mkdir -p /soft/hive/warehouse

hdfs dfs -mkdir -p /soft/hive/tmp

hdfs dfs -mkdir -p /soft/hive/log

hdfs dfs -chmod g+w /soft/hive/warehouse

hdfs dfs -chmod g+w /soft/hive/tmp

hdfs dfs -chmod g+w /soft/hive/log

java连接hive

1)启动hive服务

/home/hadoop/bigdata/apache-hive/bin目录下执行命令$hive --service hiveserver2 start。

java代码连接hive到mysql中查询数据

Hive.server2.enable.doAs =false;

Hive.meatstroe.saslenabled=false;

Hive.server2.authentication=none

6、关于电脑配置

电脑配置低了带不动??！12GB内存都快用满了。

电脑配置如下都还可以，但是至少比下图中的要高才行。

?著作权归作者所有,转载或内容合作请联系作者
  • 人面猴
    序言：七十年代末，一起剥皮案震惊了整个滨河市，随后出现的几起案子，更是在滨河造成了极大的恐慌，老刑警刘岩，带你破解...
    沈念sama阅读 214,128评论 6赞 493
  • 死咒
    序言：滨河连续发生了三起死亡事件，死亡现场离奇诡异，居然都是意外死亡，警方通过查阅死者的电脑和手机，发现死者居然都...
    沈念sama阅读 91,316评论 3赞 388
  • 救了他两次的神仙让他今天三更去死
    文/潘晓璐 我一进店门，熙熙楼的掌柜王于贵愁眉苦脸地迎上来，“玉大人，你说我怎么就摊上这事?！?“怎么了？”我有些...
    开封第一讲书人阅读 159,737评论 0赞 349
  • 道士缉凶录：失踪的卖姜人
    文/不坏的土叔 我叫张陵，是天一观的道长。 经常有香客问我，道长，这世上最难降的妖魔是什么？ 我笑而不...
    开封第一讲书人阅读 57,283评论 1赞 287
  • ?港岛之恋（遗憾婚礼）
    正文 为了忘掉前任，我火速办了婚礼，结果婚礼上，老公的妹妹穿的比我还像新娘。我一直安慰自己，他们只是感情好，可当我...
    茶点故事阅读 66,384评论 6赞 386
  • 恶毒庶女顶嫁案：这布局不是一般人想出来的
    文/花漫 我一把揭开白布。 她就那样静静地躺着，像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上，一...
    开封第一讲书人阅读 50,458评论 1赞 292
  • 城市分裂传说
    那天，我揣着相机与录音，去河边找鬼。 笑死，一个胖子当着我的面吹牛，可吹牛的内容都是我干的。 我是一名探鬼主播，决...
    沈念sama阅读 39,467评论 3赞 412
  • 双鸳鸯连环套：你想象不到人心有多黑
    文/苍兰香墨 我猛地睁开眼，长吁一口气：“原来是场噩梦啊……” “哼！你这毒妇竟也来了？” 一声冷哼从身侧响起，我...
    开封第一讲书人阅读 38,251评论 0赞 269
  • 万荣杀人案实录
    序言：老挝万荣一对情侣失踪，失踪者是张志新（化名）和其女友刘颖，没想到半个月后，有当地人在树林里发现了一具尸体，经...
    沈念sama阅读 44,688评论 1赞 306
  • ?护林员之死
    正文 独居荒郊野岭守林人离奇死亡，尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,980评论 2赞 328
  • ?白月光启示录
    正文 我和宋清朗相恋三年，在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,155评论 1赞 342
  • 活死人
    序言：一个原本活蹦乱跳的男人离奇死亡，死状恐怖，灵堂内的尸体忽然破棺而出，到底是诈尸还是另有隐情，我是刑警宁泽，带...
    沈念sama阅读 34,818评论 4赞 337
  • ?日本核电站爆炸内幕
    正文 年R本政府宣布，位于F岛的核电站，受9级特大地震影响，放射性物质发生泄漏。R本人自食恶果不足惜，却给世界环境...
    茶点故事阅读 40,492评论 3赞 322
  • 男人毒药：我在死后第九天来索命
    文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹，春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,142评论 0赞 21
  • 一桩弑父案，背后竟有这般阴谋
    文/苍兰香墨 我抬头看了看天上的太阳。三九已至，却和暖如春，着一层夹袄步出监牢的瞬间，已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,382评论 1赞 267
  • 情欲美人皮
    我被黑心中介骗来泰国打工， 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留，地道东北人。 一个月前我还...
    沈念sama阅读 47,020评论 2赞 365
  • 代替公主和亲
    正文 我出身青楼，却偏偏与公主长得像，于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子，可洞房花烛夜当晚...
    茶点故事阅读 44,044评论 2赞 352