建站
咨詢
售后
建站咨詢
新聞中心
Flume是一個基于分布式的，有限的、可靠的、高吞吐的，流式數(shù)據(jù)傳輸框架，能夠收集、合并、路由和傳遞日志數(shù)據(jù)。它可以被用于搭建企業(yè)級數(shù)據(jù)管道，可以實現(xiàn)從收集數(shù)據(jù)到存儲數(shù)據(jù)的實時處理。在linux系統(tǒng)下，F(xiàn)lume可以方便用戶對大量實時日志數(shù)據(jù)進行管理和采集。本文將簡要介紹Linux系統(tǒng)下使用Flume的方法。
創(chuàng)新互聯(lián)建站專注于陳巴爾虎網(wǎng)站建設(shè)服務(wù)及定制，我們擁有豐富的企業(yè)做網(wǎng)站經(jīng)驗。 熱誠為您提供陳巴爾虎營銷型網(wǎng)站建設(shè)，陳巴爾虎網(wǎng)站制作、陳巴爾虎網(wǎng)頁設(shè)計、陳巴爾虎網(wǎng)站官網(wǎng)定制、成都小程序開發(fā)服務(wù)，打造陳巴爾虎網(wǎng)絡(luò)公司原創(chuàng)品牌,更為您提供陳巴爾虎網(wǎng)站排名全網(wǎng)營銷落地服務(wù)。
1.準備工作
首先，在Linux系統(tǒng)下安裝Flume，并準備好需要監(jiān)控的日志資源。如果要監(jiān)控某個可寫入文件的日志源，可以使用tail指令來查看文件的實時變化。同時，還要根據(jù)需要配置Flume的全局配置文件，以及下游的保存設(shè)備的地址和端口等信息。
2.啟動Flume
可以借助以下Flume命令在Linux環(huán)境下啟動flume：
bin/flume-ng agent –c conf –f conf/flume-conf.properties –n a1
上述命令的功能是指定configuration files的位置，并指定Flume agent的name為a1，進而啟動agent a1。
3.Flume監(jiān)控文件內(nèi)容
可以使用下面的配置令agent a1連接一個名為“tail”的source，并監(jiān)控指定的文件：
a1.sources.tail.type = exec
a1.sources.tail.command = tail -F /var/log/syslog
這里的a1.sources.tail表示設(shè)置agent a1的源，而a1.sources.tail.type表示設(shè)置其類型，這里設(shè)置為exec表示添加一個可執(zhí)行程序。a1.sources.tail.comand表示指定可執(zhí)行程序的命令，此處設(shè)置為使用tail指令來監(jiān)控/var/log/syslog文件。
4.通過Flume傳輸數(shù)據(jù)
以上已經(jīng)介紹了如何監(jiān)控日志，接下來可以添加sink，將監(jiān)控到的數(shù)據(jù)進行處理并發(fā)送出去：
a1.sinks.k1.type = org.apache.hadoop.hive.jdbc.HiveDriver
a1.sinks.k1.channel = c1
a1.sinks.k1.hive.metastore.uris = jdbc:hive2://hive:10000/default
a1.sinks.k1.hive.db = default
a1.sinks.k1.hive.database = default
這里的a1.sinks.k1表示設(shè)置agent a1的sink，通過a1.sinks.k1.type指定sink的類型，這里表示為HiveDriver，能夠?qū)?shù)據(jù)寫入Hive中。a1.sinks.k1.channel指定channel的名稱，a1.sinks.k1.hive.metastore.uris指定Hive的metastore的地址，a1.sinks.k1.hive.db指定數(shù)據(jù)庫的名稱，本例中采用默認數(shù)據(jù)庫default。
5.結(jié)束Flume傳輸
最后，通過以下命令停止Flume傳輸程序：
# bin/flume-ng stop a1
上述命令指定停止agent a1，結(jié)束Flume傳輸。
到此為止，Linux系統(tǒng)下對日志數(shù)據(jù)進行采集和管理的整個過程就全部完成了。通過Flume，用戶可以方便地從實時日志數(shù)據(jù)中收集和傳輸必要的信息，實現(xiàn)企業(yè)級數(shù)據(jù)管道搭建，為其他Hadoop等數(shù)據(jù)處理起到很大的幫助。
成都創(chuàng)新互聯(lián)科技有限公司，是一家專注于互聯(lián)網(wǎng)、IDC服務(wù)、應(yīng)用軟件開發(fā)、網(wǎng)站建設(shè)推廣的公司，為客戶提供互聯(lián)網(wǎng)基礎(chǔ)服務(wù)！
創(chuàng)新互聯(lián)（www.cdcxhl.com）提供簡單好用，價格厚道的香港/美國云服務(wù)器和獨立服務(wù)器。創(chuàng)新互聯(lián)成都老牌IDC服務(wù)商，專注四川成都IDC機房服務(wù)器托管/機柜租用。為您精選優(yōu)質(zhì)idc數(shù)據(jù)中心機房租用、服務(wù)器托管、機柜租賃、大帶寬租用，可選線路電信、移動、聯(lián)通等。
名稱欄目：Linux系統(tǒng)下Flume使用指南（flumelinux）
文章路徑：http://m.fisionsoft.com.cn/article/cdgoeig.html
