Hbase集群安装指南

Hbase集群安装指南

HBase – Hadoop Database，是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群。

Hadoop HDFS为HBase提供了高可靠性的底层存储支持，Hadoop MapReduce为HBase提供了高性能的计算能力，Zookeeper为HBase提供了稳定服务和failover机制。

Pig和Hive还为HBase提供了高层语言支持，使得在HBase上进行数据统计处理变的非常简单。 Sqoop则为HBase提供了方便的RDBMS数据导入功能，使得传统数据库数据向HBase中迁移变的非常方便。

Hbase基于Hadoop，所以安装Hbase之前，需要安装好Hadoop集群，包含Java、ssh免密登录、Zookeeper、Hadoop。

基础配置

安装Hadoop之间，给各节点创建用户，尽量不要在root用户下进行环境搭建。
涉及到集群部署，虚拟机或服务器都被称为主节点、子节点?；∨渲?，集群中每个节点都需要做。

  1. /etc/hosts和/etc/hostname配置

    配置hostname时，不要使用“.”“_"等特殊字符，这些字符会导致hadoop启动失败。

    hosts配置格式为集群机器ip 机器hostname，比如：

        192.168.100.10 hadoopa
    192.168.100.11 hadoopb
    192.168.100.12 hadoopc

  2. ssh免密登录配置

    • 生成ssh公钥
    ssh-keygen -t rsa

    当前用户Home目录下的.ssh目录会生成公钥文件（id_rsa.pub）和私钥文件（id_rsa）

    • 分发公钥

      将生成的公钥分发给其他节点，本机也要复制一份。

      进入个人/home/.ssh下执行如下命令：

    ssh-copy-id xxx(节点名称)

Java安装与环境变量配置

安装jdk 1.8
yum -y install java-1.8.0-openjdk*
查询java安装路径
ls -l rt /usr/bin/java 

ls -l rt  /etc/alternatives/java

Zookeeper安装

安装Zookeeper之间需要先安装Java

下载解压
wget https://mirrors.tuna.tsinghua.edu.cn/apache/zookeeper/zookeeper-3.4.14/zookeeper-3.4.14.tar.gz
tar -zxvf zookeeper-3.4.14.tar.gz 
cp zookeeper-3.4.14 /usr/local/zookeeper -r
配置conf文件夹下zoo.cfg
cp zoo_sample.cfg zoo.cfg
修改或新增内容
dataDir=/usr/local/zookeeper/data

server.1=192.168.1.91:2888:3888

server.2=192.168.1.92:2888:3888

server.3=192.168.1.93:2888:3888
在/usr/local/zookeeper/data下创建文件并写入内容
touch myid
echo "1">>myid
复制zookeeper到其他节点,主节点名称hadoopa, 目标节点名称hadoopb
scp -r /usr/local/zookeeper hadoopb:/usr/local/
修改hadoopb节点文件myid
echo "2">myid
复制到其他节点步骤一致。
启动,停止和查看状态

各个节点都要执行启动或者停止命令

/usr/local/zookeeper-3.4.6/bin/zkServer.sh start
/usr/local/zookeeper-3.4.6/bin/zkServer.sh stop
/usr/local/zookeeper-3.4.6/bin/zkServer.sh status

zookeeper启动之后会自动选择leader和follwer

Hadoop安装

下载

wget http://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-3.1.2/hadoop-3.1.2.tar.gz

解压到 个人/home/hadoop下

tar -zxvf download/hadoop-3.1.2.tar.gz

文件配置

配置文件都在hadoop解压目录的etc/hadoop/下

  1. hadoop-env.sh配置

    找到 export JAVA_HOME= .....这行改为我们实际配置的 JAVA_HOME 路径，并去掉 # 号注释

  2. core-site.xml配置

    configuration标签里添加如下配置，其中hadoopa为主机名，xiaoming为用户文件夹

    <property>
    <name>fs.defaultFS</name>
    <value>hdfs://hadoopa:9000</value>
</property>
<property>
    <name>hadoop.tmp.dir</name>
    <value>/home/xiaoming/hadoopdata</value>
</property>

  3. hdfs-site.xml配置

    指定 HDFS 副本数量

    注意：Hadoop3.1的namenode节点端口从50070改为9870端口了

        <configuration>
       <property>
           <name>dfs.replication</name>
           <value>2</value>
       </property>
    </configuration>

  4. mapred-site.xml配置

    指定 MapReduce运行在yarn上

        <configuration> 
       <property>  
            <name>mapreduce.framework.name</name>
            <value>yarn</value>
        </property>
    </configuration>

  5. yarn-site.xml配置

    指定 ResourceManager 服务节点

        <configuration>
       <property>
            <name>yarn.resourcemanger.hostname</name>
            <value>hadoopa</value>
        </property>
        <property>
             <name>yarn.nodemanager.aux-services</name>
             <value>mapreduce_shuffle</value>
         </property>
     </configuration>

  6. workers配置

    之前我使用hadoop-2.6 这个文件名为 slaves ，现在3.0版本为 workers

    在此文件添加 我们作为DataNode节点的两台台机器的主机名，如果我们只将hadoopa 作为 namenode不做为datanode的话，就不用在此文件中添加hadoopa 了，我这里三台机器都做为 DataNode 节点

    hadoopa
hadoopb
hadoopc

分发配置完成的Hadoop文件夹

将Hadoop发到另外两台机器

scp -r /home/用户名/hadoop/  用户名@hadoopb:/home/用户名/
scp -r /home/用户名/hadoop/  用户名@hadoopc:/home/用户名/

配置Hadoop 环境变量

三台机器都需要配置

root 账户下执行：vi /etc/profile

export HADOOP_HOME=/home/xiaoming/hadoop
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

然后保存退出

执行 source /etc/profile 使配置生效

初始化操作

完成以上步骤后，需要先格式化文件系统

在 NameNode 节点上执行，我上面的配置是将 hadoopa 作为 NameNodde 节点，hadoopb，hadoopc 作为 DataNode 节点

在 hadoopa 下执行格式化

普通账户下 执行：hdfs namenode -format

启动hadoop

start-all.sh 启动Hadoop集群

stop-all.sh 关闭Hadoop集群

验证hadoop

在namenode节点下执行jps，可以看到如下进程：NodeManager、ResourceManager、DataNode、NameNode、SecondaryNameNode。

在datanode节点下执行jps，可以看到如下进程：DataNode、NodeManager

如果发现缺少进程，进入logs文件夹，查看相应进程对应的日志文件。

通过浏览器访问WEB UI：http://ip:9870

Hbase安装

版本对应关系：Hadoop 3.1.2 \ Hbase-2.2.x \ ZooKeeper 3.4.x

版本不对应会导致软件无法正常工作。

没有做特殊说明，操作都是在普通用户下进行。

下载及安装

wget https://mirrors.tuna.tsinghua.edu.cn/apache/hbase/2.2.0/hbase-2.2.0-bin.tar.gz

将下载的文件解压到用户目标目录，这里是/home/xiaoming/

tar xvzf hbase-2.2.0-bin.tar.gz /home/xiaoming/

管理员用户下设置环境变量

vi /etc/profile

# 在 /etc/profile 文件末尾添加如下内容
export HBASE_HOME=/home/xiaoming/hbase-2.2.0
export PATH=$HBASE_HOME/bin:$PATH
 
# 使配置生效
source /etc/profile

配置Hbase

  1. 修改hbase-2.2.0/conf下hbase-env.sh

        export JAVA_HOME=/usr/lib/jvm/java-1.8.0
    #禁用Hbase自带的zookeeper
    export HBASE_MANAGES_ZK=false

  2. 修改hbase-2.2.0/conf下hbase-site.xml

        <configuration>
    <!-- 指定hbase在HDFS上存储的路径 -->
        <property>
            <name>hbase.rootdir</name>
            <value>hdfs://hadoopa:9000/hbase</value>
        </property>
        <!-- 指定hbase是分布式的 -->
        <property>
            <name>hbase.cluster.distributed</name>
            <value>true</value>
        </property>
        <!-- 指定zk的地址，多个用“,”分割 -->
        <property>
            <name>hbase.zookeeper.quorum</name>
            <value>192.168.100.10:2181,192.168.100.11:2181,192.168.100.12:2181</value>
        </property>
        <property>
            <name>hbase.zookeeper.property.dataDir</name>
            <value>/home/xiaoming/data/zookeeper</value>
        </property>
        <property>
            <name>hbase.unsafe.stream.capability.enforce</name>
            <value>false</value>
        </property>
      </configuration>

  3. 修改hbase-2.2.0/conf下regionservers

    添加节点hostname

 hadoopa
 hadoopb
 hadoopc

  1. 拷贝hadoop配置文件core-site.xml和hdfs-site.xml到hbase-2.2.0/conf下

        cp $HADOOP_HOME/etc/hadoop/core-site.xml $HBASE_HOME/conf/
    cp $HADOOP_HOME/etc/hadoop/hdfs-site.xml $HBASE_HOME/conf/

  2. 分发Hbase文件到其他节点

        scp -r hbase-2.2.0/ hadoopb:/home/xiaoming/
    scp -r hbase-2.2.0/ hadoopc:/home/xiaoming/

启动Hbase

在启动Hbase之前，先启动zookeeper和hadoop。

在哪个节点上输入启动命令start-hbase.sh,哪个节点就是Hmaster。启动完成后可以通过jps查看进程。

Hmaster节点进程：

SecondaryNameNode
NodeManager
ResourceManager
HRegionServer
Jps
DataNode
QuorumPeerMain
HMaster
NameNode

子节点进程：

QuorumPeerMain
HRegionServer
DataNode
Jps
NodeManager

启动完成后，可以通过WEB UI查看Hbase集群情况，http://ip:16010

如果发现子节点启动HRegionServer失败，通常是因为子节点系统的时间不同步造成的。调整系统时间即可解决。

最后编辑于 ：
?著作权归作者所有,转载或内容合作请联系作者
  • 人面猴
    序言：七十年代末，一起剥皮案震惊了整个滨河市，随后出现的几起案子，更是在滨河造成了极大的恐慌，老刑警刘岩，带你破解...
    沈念sama阅读 214,172评论 6赞 493
  • 死咒
    序言：滨河连续发生了三起死亡事件，死亡现场离奇诡异，居然都是意外死亡，警方通过查阅死者的电脑和手机，发现死者居然都...
    沈念sama阅读 91,346评论 3赞 389
  • 救了他两次的神仙让他今天三更去死
    文/潘晓璐 我一进店门，熙熙楼的掌柜王于贵愁眉苦脸地迎上来，“玉大人，你说我怎么就摊上这事?！?“怎么了？”我有些...
    开封第一讲书人阅读 159,788评论 0赞 349
  • 道士缉凶录：失踪的卖姜人
    文/不坏的土叔 我叫张陵，是天一观的道长。 经常有香客问我，道长，这世上最难降的妖魔是什么？ 我笑而不...
    开封第一讲书人阅读 57,299评论 1赞 288
  • ?港岛之恋（遗憾婚礼）
    正文 为了忘掉前任，我火速办了婚礼，结果婚礼上，老公的妹妹穿的比我还像新娘。我一直安慰自己，他们只是感情好，可当我...
    茶点故事阅读 66,409评论 6赞 386
  • 恶毒庶女顶嫁案：这布局不是一般人想出来的
    文/花漫 我一把揭开白布。 她就那样静静地躺着，像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上，一...
    开封第一讲书人阅读 50,467评论 1赞 292
  • 城市分裂传说
    那天，我揣着相机与录音，去河边找鬼。 笑死，一个胖子当着我的面吹牛，可吹牛的内容都是我干的。 我是一名探鬼主播，决...
    沈念sama阅读 39,476评论 3赞 412
  • 双鸳鸯连环套：你想象不到人心有多黑
    文/苍兰香墨 我猛地睁开眼，长吁一口气：“原来是场噩梦啊……” “哼！你这毒妇竟也来了？” 一声冷哼从身侧响起，我...
    开封第一讲书人阅读 38,262评论 0赞 269
  • 万荣杀人案实录
    序言：老挝万荣一对情侣失踪，失踪者是张志新（化名）和其女友刘颖，没想到半个月后，有当地人在树林里发现了一具尸体，经...
    沈念sama阅读 44,699评论 1赞 307
  • ?护林员之死
    正文 独居荒郊野岭守林人离奇死亡，尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,994评论 2赞 328
  • ?白月光启示录
    正文 我和宋清朗相恋三年，在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,167评论 1赞 343
  • 活死人
    序言：一个原本活蹦乱跳的男人离奇死亡，死状恐怖，灵堂内的尸体忽然破棺而出，到底是诈尸还是另有隐情，我是刑警宁泽，带...
    沈念sama阅读 34,827评论 4赞 337
  • ?日本核电站爆炸内幕
    正文 年R本政府宣布，位于F岛的核电站，受9级特大地震影响，放射性物质发生泄漏。R本人自食恶果不足惜，却给世界环境...
    茶点故事阅读 40,499评论 3赞 322
  • 男人毒药：我在死后第九天来索命
    文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹，春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,149评论 0赞 21
  • 一桩弑父案，背后竟有这般阴谋
    文/苍兰香墨 我抬头看了看天上的太阳。三九已至，却和暖如春，着一层夹袄步出监牢的瞬间，已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,387评论 1赞 267
  • 情欲美人皮
    我被黑心中介骗来泰国打工， 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留，地道东北人。 一个月前我还...
    沈念sama阅读 47,028评论 2赞 365
  • 代替公主和亲
    正文 我出身青楼，却偏偏与公主长得像，于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子，可洞房花烛夜当晚...
    茶点故事阅读 44,055评论 2赞 352