建站
咨詢
售后
建站咨詢
新聞中心
本篇要評測的NoSQL產(chǎn)品是HBase，和其他簡單的Key-Value結構不同，HBase主要面向處理海量數(shù)據(jù)的應用，可以認為是Google BigTable的一個開源版本。由于Facebook使用HBase來存儲消息內(nèi)容和大數(shù)據(jù)量的實時分析而使得這一產(chǎn)品備受關注。
一、HBase簡介
HBase是用Java開發(fā)的，是一個開源的、分布式的、面向列的數(shù)據(jù)庫，其存儲的每個值都有一個時間戳，可以根據(jù)定義好的規(guī)則保存多個版本(默認是3個)，這樣就可以記錄數(shù)據(jù)的變動情況。
HBase和Hadoop無縫集成，可以利用HDFS實現(xiàn)數(shù)據(jù)的底層分布式存儲，保證冗余和可靠性，通過ZooKeeper來實現(xiàn)一致性和高可用性。
HBase有兩種部署方式：一種是比較簡單的單實例方式，它已經(jīng)內(nèi)置了0.20版本的Hadoop包和一個本地ZooKeeper，它們運行在同一個 JVM之下，可以用本地文件系統(tǒng)而不用HDFS。另外一種比較復雜的分布式部署，需要在每一個節(jié)點替換自帶的Hadoop包以免有版本問題，而且必須有一個HDFS實例，同時需要獨立的ZooKeeper集群，這也是處理海量數(shù)據(jù)時的推薦的部署方式。本文為測試方便，使用簡單的單實例部署方式。
二、安裝和使用
首先從鏡像下載最新版的HBase，目前最新的版本是0.90.3：
- [root@localhost hbase]# wget http://mirror.bjtu.edu.cn/apache/hbase/stable/hbase-0.90.3.tar.gz
先檢查下本地的JDK版本是否在1.6以上：
- [root@localhost hbase]# java -version
- java version "1.6.0_24"
解壓并配置數(shù)據(jù)文件的路徑：
- [root@localhost hbase]# tar zxvf hbase-0.90.3.tar.gz
- [root@localhost hbase]# cd hbase-0.90.3/conf
- [root@localhost conf]# vi hbase-site.xml
hbase.rootdir /home/banping/hbase/data
啟動Hbase進程：
- [root@localhost hbase-0.90.3]# bin/start-hbase.sh
- starting master, logging to /home/banping/hbase/hbase-0.90.3/bin/../logs/hbase-root-master-localhost.localdomain.out
可以通過自帶的shell命令來進行基本的操作：
- [root@localhost hbase-0.90.3]# bin/hbase shell
- hbase(main):002:0> create 'test','cf'
- 0 row(s) in 0.9940 seconds
- hbase(main):019:0> list
- TABLE
- test
- 1 row(s) in 0.0290 seconds
- hbase(main):022:0> put 'test', 'row1', 'cf:a', 'value1'
- 0 row(s) in 0.2130 seconds
- hbase(main):023:0> put 'test', 'row2', 'cf:b', 'value2'
- 0 row(s) in 0.0120 seconds
- hbase(main):024:0> put 'test', 'row3', 'cf:c', 'value3'
- 0 row(s) in 0.0130 seconds
- hbase(main):025:0> scan 'test'
- ROW COLUMN+CELL
- row1 column=cf:a, timestamp=1310027460885, value=value1
- row2 column=cf:b, timestamp=1310027469458, value=value2
- row3 column=cf:c, timestamp=1310027476262, value=value3
- 3 row(s) in 0.0870 seconds
- hbase(main):026:0> get 'test', 'row1'
- COLUMN CELL
- cf:a timestamp=1310027460885, value=value1
- 1 row(s) in 0.0250 seconds
- hbase(main):027:0> disable 'test'
- 0 row(s) in 2.0920 seconds
- hbase(main):029:0> drop 'test'
- 0 row(s) in 1.1440 seconds
- hbase(main):030:0> exit
停止Hbase實例：
- [root@localhost hbase-0.90.3]# ./bin/stop-hbase.sh
- stopping hbase......
如果使用PHP操作Hbase，可以使用Facebook開源出來的thrift，官網(wǎng)是：http://thrift.apache.org/ ，它是一個類似ice的中間件，用于不同系統(tǒng)語言間信息交換。首先下載最新的版本0.6.1：
- [root@localhost hbase]# wget http://mirror.bjtu.edu.cn/apache//thrift/0.6.1/thrift-0.6.1.tar.gz
安裝需要的依賴包：
- [root@localhost thrift-0.6.1]# sudo yum install automake libtool flex bison pkgconfig gcc-c++ boost-devel libevent-devel zlib-devel python-devel ruby-devel
編譯安裝：
- [root@localhost thrift-0.6.1]# ./configure --prefix=/home/banping/hbase/thrift --with-php-config=/usr/local/php/bin/
- [root@localhost thrift-0.6.1]# make
- [root@localhost thrift-0.6.1]# make install
生成php和hbase的接口文件：
- [root@localhost hbase]# thrift/bin/thrift --gen php /home/banping/hbase/hbase-0.90.3/src/main/resources/org/apache/hadoop/hbase/thrift/Hbase.thrift
- [root@localhost hbase]# cd gen-php/Hbase
- [root@localhost Hbase]# ll
- total 320
- -rw-r--r-- 1 root root 285433 Jul 7 19:22 Hbase.php
- -rw-r--r-- 1 root root 27426 Jul 7 19:22 Hbase_types.php
把PHP客戶端需要的包及剛才生成的接口文件復制出來供php程序調用：
- [root@localhost Hbase]# cp -a /home/banping/hbase/thrift-0.6.1/lib/php /home/webtest/thrift/
- [root@localhost Hbase]# cd /home/webtest/thrift/
- [root@localhost thrift]# mkdir packages
- [root@localhost thrift]# cp -a /home/banping/hbase/gen-php/Hbase /home/webtest/thrift/packages
啟動hbase和thrift進程：
- [root@localhost hbase-0.90.3]# ./bin/start-hbase.sh
- [root@localhost hbase-0.90.3]# ./bin/hbase-daemon.sh start thrift
- starting thrift, logging to /home/banping/hbase/hbase-0.90.3/bin/../logs/hbase-root-thrift-localhost.localdomain.out
thrift服務默認監(jiān)聽的端口是9090。至此測試環(huán)境搭建完畢。
#p#
三、測試說明
1、測試環(huán)境
HBase部署在一臺PC 服務器上，配置如下：
CPU為Xeon 2.80GHz *4
內(nèi)存為4G
硬盤為一塊400G SATA盤
操作系統(tǒng)為64位CentOS 5.3版本
2、測試方法
采用PHP客戶端進行測試，在安裝過程中我們已經(jīng)獲取了PHP客戶端訪問HBase需要的包含文件。
為了不對測試服務器產(chǎn)生額外的影響，測試客戶端部署在另外一臺獨立的服務器上，運行的PHP的版本是5.3.5，web server是Nginx 0.8.54，通過fastcgi的方式調用PHP服務。使用apache ab工具實現(xiàn)多個請求和并發(fā)操作。
測試過程首先是進行寫操作，通過500個請求，每個請求寫入10000條記錄，并發(fā)度為1來共寫入500萬條數(shù)據(jù)，每個行(row)定義為數(shù)字1到 5000000，列(column)標記為id:對應的行id，列value為100個字節(jié)大小的數(shù)據(jù)，版本默認為記錄3個。然后是讀操作，發(fā)起5000 個請求，每個請求隨機根據(jù)row id值讀出1000條記錄，并發(fā)度為10共讀出500萬條記錄，評測的重點是寫入和讀出數(shù)據(jù)的時間，以及在此過程中服務器的資源使用情況。
四、測試結果
1、寫操作
成功寫入500萬條記錄，共耗時5418秒，平均每秒寫入數(shù)據(jù)923筆。磁盤上的數(shù)據(jù)文件大小620M。寫入過程中，服務器內(nèi)存、CPU和磁盤等資源使用情況如下圖所示：
可見，內(nèi)存使用平穩(wěn)上升，最后占用1G左右，主要用來緩存數(shù)據(jù)，中間有偶爾的內(nèi)存使用高峰，猜測是JAVA 的垃圾回收后會釋放內(nèi)存。CPU使用非常平穩(wěn)，idle穩(wěn)定在79左右，幾乎沒有wait發(fā)生。磁盤IO非常低，但是寫入速度較慢?？傮w來說占用資源很少，表現(xiàn)也很平穩(wěn)。
2、讀操作
成功讀出500萬條記錄，共耗時8521秒，平均每秒讀出數(shù)據(jù)587筆。
讀數(shù)據(jù)過程中磁盤IO很低，幾乎沒有波動。CPU消耗較多，Idle值穩(wěn)定在13左右，等待CPU資源的進程一直有3到14個。內(nèi)存表現(xiàn)平穩(wěn)沒有波動。
五、總結
通過以上測試結果可以看出，HBase讀寫效率并不高，因為它是針對海量數(shù)據(jù)處理來設計的，側重的是海量存儲下的性能而非Key-Value存儲的效率，因此這也是正常的，另外由于寫入速度慢，因此磁盤IO占用非常低，這和其他幾款NoSQL有明顯的區(qū)別。隨著淘寶等國內(nèi)互聯(lián)網(wǎng)巨頭不斷加大使用 HBase的規(guī)模，相信在國內(nèi)會有越來越多的成功案例。
新聞名稱：主流NoSQL數(shù)據(jù)庫評測之HBase
當前URL：http://m.5511xx.com/article/djcphoe.html
