建站
咨詢(xún)
售后
建站咨詢(xún)
新聞中心
Hive是一個(gè)基于Hadoop的數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)，主要處理大量的結(jié)構(gòu)化數(shù)據(jù)并提供SQL查詢(xún)。Hive將數(shù)據(jù)存儲(chǔ)在HDFS(Hadoop分布式文件系統(tǒng))中，但是Hive需要一個(gè)本地目錄來(lái)存儲(chǔ)元數(shù)據(jù)和其他Hive操作的相關(guān)數(shù)據(jù)。在默認(rèn)配置下，Hive會(huì)將這些數(shù)據(jù)存儲(chǔ)在/var/lib/hive/metastore目錄中。但是，用戶(hù)可以通過(guò)配置Hive的數(shù)據(jù)庫(kù)目錄來(lái)更改元數(shù)據(jù)和其它Hive操作數(shù)據(jù)的存儲(chǔ)位置。本文將介紹。
創(chuàng)新互聯(lián)建站-專(zhuān)業(yè)網(wǎng)站定制、快速模板網(wǎng)站建設(shè)、高性?xún)r(jià)比連城網(wǎng)站開(kāi)發(fā)、企業(yè)建站全套包干低至880元,成熟完善的模板庫(kù),直接使用。一站式連城網(wǎng)站制作公司更省心,省錢(qián),快速模板網(wǎng)站建設(shè)找我們，業(yè)務(wù)覆蓋連城地區(qū)。費(fèi)用合理售后完善，10余年實(shí)體公司更值得信賴(lài)。
步驟1:創(chuàng)建新目錄
在開(kāi)始配置過(guò)程之前，您需要首先創(chuàng)建一個(gè)新目錄，在此目錄下存儲(chǔ)Hive的元數(shù)據(jù)和相關(guān)數(shù)據(jù)。您可以使用以下命令創(chuàng)建新目錄，并用hive命令作為所有者。
“`
sudo mkdir /new/hive/metastore
sudo chown -R hive:hive /new/hive
“`
步驟2:修改配置文件
在創(chuàng)建了一個(gè)新的目錄之后，您需要修改Hive的配置，以指向新的Hive元數(shù)據(jù)和相關(guān)數(shù)據(jù)的存儲(chǔ)目錄。在Hive服務(wù)器節(jié)點(diǎn)上，找到hive-site.xml文件，然后添加以下代碼來(lái)修改配置：
“`
javax.jdo.option.ConnectionURL
jdbc:derby:;databaseName=/new/hive/metastore_db;create=true
JDBC connect string for a JDBC metastore
hive.metastore.warehouse.dir
/new/hive/warehouse
Location of hive warehouse directory
hive.exec.local.scratchdir
/new/hive/tmp
Local scratch space for Hive jobs
“`
其中，javax.jdo.option.ConnectionURL屬性指定了JDBC Metastore連接的存儲(chǔ)位置。將databaseName /var/lib/hive/metastore_db更改為新目錄/new/hive/metastore_db。hive.metastore.warehouse.dir屬性指定了Hive Warehouse目錄的存儲(chǔ)位置。將默認(rèn)目錄/var/lib/hive/warehouse更改為新目錄/new/hive/warehouse。hive.exec.local.scratchdir屬性指定了本地磁盤(pán)上的Hive臨時(shí)目錄的存儲(chǔ)位置。將默認(rèn)目錄/var/lib/hive/tmp更改為新目錄/new/hive/tmp。
步驟3:重新啟動(dòng)Hive
完成hive-site.xml文件的修改后，您需要重啟Hive才能使配置生效。您可以使用以下命令重啟Hive：
“`
sudo service hive-server2 restart
“`
步驟4:測(cè)試配置
為了測(cè)試配置是否生效，您可以創(chuàng)建一個(gè)內(nèi)部表并驗(yàn)證其位置是否匹配指定目錄。在Hive CLI中，使用以下命令創(chuàng)建新表：
“`
hive> create table newTable (id int, name string) row format delimited fields
terminated by ‘,’
stored as textfile
location ‘/new/hive/warehouse/newTable’;
“`
創(chuàng)建完成表之后，您可以使用以下命令查看初始化表的位置：
“`
hive> describe formatted newTable;
“`
您應(yīng)該看到類(lèi)似于以下語(yǔ)句的輸出：
“`
Location: hdfs://your-namenode:8020/new/hive/warehouse/newTable
“`
結(jié)論
通過(guò)這篇文章，您現(xiàn)在應(yīng)該已經(jīng)掌握了如何配置Hive數(shù)據(jù)庫(kù)目錄，以存儲(chǔ)Hive元數(shù)據(jù)和相關(guān)數(shù)據(jù)的位置。通過(guò)在Hive服務(wù)器節(jié)點(diǎn)上修改hive-site.xml文件可以輕松地完成配置。在創(chuàng)建新目錄，修改配置文件和重啟Hive服務(wù)器之后，您可以輕松地測(cè)試您的配置并確保它正常工作。
成都網(wǎng)站建設(shè)公司-創(chuàng)新互聯(lián)為您提供網(wǎng)站建設(shè)、網(wǎng)站制作、網(wǎng)頁(yè)設(shè)計(jì)及定制高端網(wǎng)站建設(shè)服務(wù)！
windows下怎么用python連接hive數(shù)據(jù)庫(kù)
由于版本的不同，Python 連接 Hive 的方式也就不一樣。
在網(wǎng)上搜索關(guān)鍵字 python hive 的時(shí)候可以找譽(yù)察到一些解決方案。大部分是這彎畢樣的，首先把hive 根目錄埋虛芹下的$HIVE_HOME/lib/py拷貝到 python 的庫(kù)中，也就是 site-package 中，或者干脆把新寫(xiě)的 python 代碼和拷貝的 py 庫(kù)放在同一個(gè)目錄下，然后用這個(gè)目錄下提供的 thrift 接口調(diào)用。示例也是非常簡(jiǎn)單的。類(lèi)似這樣：
import sys
from hive_service import ThriftHive
from hive_service.ttypes import HiveServerException
from thrift import Thrift
from thrift.transport import TSocket
from thrift.transport import TTransport
from thrift.protocol import TBinaryProtocol
def hiveExe(sql):
try:
transport = TSocket.TSocket(‘127.0.0.1’, 10000)
transport = TTransport.TBufferedTransport(transport)
protocol = TBinaryProtocol.TBinaryProtocol(transport)
client = ThriftHive.Client(protocol)
transport.open()
client.execute(sql)
print “The return value is : ”
print client.fetchAll()
print “…………”
transport.close()
except Thrift.TException, tx:
print ‘%s’ % (tx.message)
if __name__ == ‘__main__’:
hiveExe(“show tables”)
或者是這樣的：
#!/usr/bin/env python
import sys
from hive import ThriftHive
from hive.ttypes import HiveServerException
from thrift import Thrift
from thrift.transport import TSocket
from thrift.transport import TTransport
from thrift.protocol import TBinaryProtocol
try:
transport = TSocket.TSocket(‘14.18.154.188’, 10000)
transport = TTransport.TBufferedTransport(transport)
protocol = TBinaryProtocol.TBinaryProtocol(transport)
client = ThriftHive.Client(protocol)
transport.open()
client.execute(“CREATE TABLE r(a STRING, b INT, c DOUBLE)”)
client.execute(“LOAD TABLE LOCAL INPATH ‘/path’ INTO TABLE r”)
client.execute(“SELECT * FROM test1”)
while (1):
row = client.fetchOne()
if (row == None):
break
print rowve
client.execute(“SELECT * FROM test1”)
print client.fetchAll()
transport.close()
except Thrift.TException, tx:
print ‘%s’ % (tx.message)
但是都解決不了問(wèn)題，從 netstat 中查看可以發(fā)現(xiàn) TCP 連接確實(shí)是建立了，但是不執(zhí)行 hive 指令。也許就是版本的問(wèn)題。
還是那句話(huà)，看各種中文博客不如看官方文檔。
項(xiàng)目中使用的 hive 版本是0.13，此時(shí)此刻官網(wǎng)的最新版本都到了1.2.1了。中間間隔了1.2.0、1.1.0、1.0.0、0.14.0。但是還是參考一下官網(wǎng)的方法試試吧。
首先看官網(wǎng)的 setting up hiveserver2
可以看到啟動(dòng) hiveserver2 可以配置更大最小線(xiàn)程數(shù)，綁定的 IP，綁定的端口，還可以設(shè)置認(rèn)證方式。（之前一直不成功正式因?yàn)檫@個(gè)連接方式）然后還給了 python 示例代碼。
import pyhs2
with pyhs2.connect(host=’localhost’,
port=10000,
authMechani=”P(pán)LAIN”,
user=’root’,
password=’test’,
database=’default’) as conn:
with conn.cursor() as cur:
#Show databases
print cur.getDatabases()
#Execute query
cur.execute(“select * from table”)
#Return column info from query
print cur.getSchema()
#Fetch table results
for i in cur.fetch():
print i
在拿到這個(gè)代碼的時(shí)候，自以為是的把認(rèn)證信息給去掉了。然后運(yùn)行發(fā)現(xiàn)跟之前博客里介紹的方法結(jié)果一樣，建立了 TCP 連接，但是就是不執(zhí)行，也不報(bào)錯(cuò)。這是幾個(gè)意思？然后無(wú)意中嘗試了一下原封不動(dòng)的使用上面的代碼。結(jié)果可以用。唉。
首先聲明一下，hive-site.xml中默認(rèn)關(guān)于 hiveserver2的配置我一個(gè)都沒(méi)有修改，一直是默認(rèn)配置啟動(dòng) hiveserver2。沒(méi)想到的是默認(rèn)配置是有認(rèn)證機(jī)制的。
然后再寫(xiě)一點(diǎn)，在安裝 pyhs2的時(shí)候還是遇到了點(diǎn)問(wèn)題，其實(shí)還是要看官方文檔的，我只是沒(méi)看官方文檔直接用 pip安裝導(dǎo)致了這個(gè)問(wèn)題。安裝 pyhs2需要確定已經(jīng)安裝了幾個(gè)依賴(lài)包。直接看在 github 上的 wiki 吧。哪個(gè)沒(méi)安裝就補(bǔ)上哪一個(gè)就好了。
To install pyhs2 on a clean CentOS 6.4 64-bit desktop….
(as root or with sudo)
get ez_setup.py from
python ez_setup.py
easy_install pip
yum install gcc-c++
yum install cyrus-sasl-devel.x86_64
yum install python-devel.x86_64
pip install pyhs
寫(xiě)了這么多，其實(shí)是在啰嗦自己遇到的問(wèn)題。下面寫(xiě)一下如何使用 python
連接 hive。
python 連接 hive 是基于 thrift 完成的。所以需要服務(wù)器端和客戶(hù)端的配合才能使用。
在服務(wù)器端需要啟動(dòng) hiveserver2 服務(wù)，啟動(dòng)方法有兩種， 第二種方法只是對(duì)之一種方法的封裝。
1. $HIVE_HOME/bin/hive –server hiveserver2
2. $HIVE_HOME/bin/hiveserver21212
默認(rèn)情況下就是hiveserver2監(jiān)聽(tīng)了10000端口。也可以通過(guò)修改 hive-site.xml 或者在啟動(dòng)的時(shí)候添加參數(shù)來(lái)實(shí)現(xiàn)修改默認(rèn)配置。
另外一方面，在客戶(hù)端需要安裝 python 的依賴(lài)包 pyhs2。安裝方法在上面也介紹了，基本上就是用 pip install pyhs2，如果安裝不成功，安裝上面提到的依賴(lài)包就可以了。
最后運(yùn)行上面的示例代碼就可以了，配置好 IP 地址、端口、數(shù)據(jù)庫(kù)、表名稱(chēng)就可以用了，默認(rèn)情況下認(rèn)證信息不需要修改。
另外補(bǔ)充一點(diǎn) fetch 函數(shù)執(zhí)行速度是比較慢的，會(huì)把所有的查詢(xún)結(jié)果返回來(lái)?？梢钥匆幌?pyhs2 的源碼，查看一下還有哪些函數(shù)可以用。下圖是 Curor 類(lèi)的可以使用的函數(shù)。
一般 hive 表里的數(shù)據(jù)比較多，還是一條一條的讀比較好，所以選擇是喲功能 fetchone函數(shù)來(lái)處理數(shù)據(jù)。fetchone函數(shù)如果讀取成功會(huì)返回列表，否則 None。可以把示例代碼修改一下，把 fetch修改為：
count = 0
while (1):
row = cur.fetchone()
if (row is not None):
count += 1
print count, row
else:
print “it’s over”
hive配置數(shù)據(jù)庫(kù)目錄的介紹就聊到這里吧，感謝你花時(shí)間閱讀本站內(nèi)容，更多關(guān)于hive配置數(shù)據(jù)庫(kù)目錄,如何配置Hive的數(shù)據(jù)庫(kù)目錄,windows下怎么用python連接hive數(shù)據(jù)庫(kù)的信息別忘了在本站進(jìn)行查找喔。
創(chuàng)新互聯(lián)-老牌IDC、云計(jì)算及IT信息化服務(wù)領(lǐng)域的服務(wù)供應(yīng)商，業(yè)務(wù)涵蓋IDC（互聯(lián)網(wǎng)數(shù)據(jù)中心）服務(wù)、云計(jì)算服務(wù)、IT信息化、AI算力租賃平臺(tái)（智算云），軟件開(kāi)發(fā)，網(wǎng)站建設(shè)，咨詢(xún)熱線(xiàn):028-86922220
網(wǎng)站欄目：如何配置Hive的數(shù)據(jù)庫(kù)目錄(hive配置數(shù)據(jù)庫(kù)目錄)
路徑分享：http://m.fisionsoft.com.cn/article/cccdsec.html
