建站
咨詢
售后
建站咨詢
新聞中心
這里有您想知道的互聯(lián)網(wǎng)營銷解決方案
怎么看出spark是單機(jī)模式還是集群模式？（sparkwindows集群）
怎么看出spark是單機(jī)模式還是集群模式？
如果你的答案是否，好吧，你可以關(guān)閉此頁了。
首先，有一個(gè)新人經(jīng)常遇到的問題：
Spark集群是否一定需要Hadoop集群呢？
答案是否。 Spark的集群一共分3種：
Standalone
Hadoop-Yarn
Mesos
今天我們主要涉及的就是Standalone這種模式。在這種模式之下，我們完全可以使用NFS來代替Hadoop / HDFS. 并且在很多場景之下，Standalone
如何查看spark集群資源命令？
yarn.nodemanager.resource.memory-mb控制每個(gè)主機(jī)上container使用的最大內(nèi)存總和。
yarn.nodemanager.resource.cpu-vcores控制每個(gè)主機(jī)上container使用的最大內(nèi)核總數(shù)。
集群a上的spark能連接集群b上面的hbase嗎？
Spark SQL就是shark ，也就是SQL on Spark。如果沒記錯(cuò)的話，shark的開發(fā)利用了hive的API，所以支持讀取HBase。而且Spark的數(shù)據(jù)類型兼容范圍大于Hadoop，并且包含了Hadoop所支持的任何數(shù)據(jù)類型。
到此，以上就是小編對于spark windows集群搭建的問題就介紹到這了，希望這3點(diǎn)解答對大家有用。
網(wǎng)站欄目：怎么看出spark是單機(jī)模式還是集群模式？（sparkwindows集群）
轉(zhuǎn)載來于：http://m.fisionsoft.com.cn/article/djpjjis.html
