驅(qū)動(dòng)AWS QuickSight應(yīng)對(duì)大數(shù)據(jù)挑戰(zhàn)的創(chuàng)新技術(shù)

作者：云頭條編譯 2015-10-26 17:40:05
云計(jì)算 眼下，我們生活在眾多網(wǎng)站、聯(lián)網(wǎng)設(shè)備和移動(dòng)應(yīng)用程序生成海量數(shù)據(jù)的時(shí)代。在這種數(shù)據(jù)密集型環(huán)境下，做出關(guān)鍵的業(yè)務(wù)決策勢(shì)必需要從這些數(shù)據(jù)獲得寶貴的洞察力，Amazon QuickSight應(yīng)運(yùn)而生。下面是驅(qū)動(dòng)QuickSight的幾大創(chuàng)新技術(shù)。

眼下，我們生活在眾多網(wǎng)站、聯(lián)網(wǎng)設(shè)備和移動(dòng)應(yīng)用程序生成海量數(shù)據(jù)的時(shí)代。在這種數(shù)據(jù)密集型環(huán)境下，做出關(guān)鍵的業(yè)務(wù)決策勢(shì)必需要從這些數(shù)據(jù)獲得寶貴的洞察力，比如開(kāi)展?fàn)I銷(xiāo)和銷(xiāo)售活動(dòng)、物流規(guī)劃、財(cái)務(wù)分析以及廣告定位等決策。然而，收集、存儲(chǔ)和處理數(shù)據(jù)的數(shù)據(jù)基礎(chǔ)設(shè)施主要面向廣大的開(kāi)發(fā)人員和IT專(zhuān)業(yè)人士(比如Amazon Redshift、Amazon DynamoDB和Amazon EMR)，不僅技術(shù)專(zhuān)業(yè)人士需要獲取洞察力，不懂技術(shù)的業(yè)務(wù)用戶(hù)也需要獲取洞察力。

為了能夠?yàn)榭蛻?hù)提供最出色的數(shù)據(jù)存儲(chǔ)方案，這些年來(lái)我們構(gòu)建了幾種創(chuàng)新的數(shù)據(jù)庫(kù)解決方案，比如Amazon RDS、Amazon RDS for Aurora、Amazon DynamoDB和Amazon Redshift。許多客戶(hù)在使用這些解決方案收集和存儲(chǔ)海量數(shù)據(jù)，這點(diǎn)不足為奇。不過(guò)，從這種類(lèi)繁多的數(shù)據(jù)源獲取可付諸行動(dòng)的洞察力這個(gè)過(guò)程并非易事。傳統(tǒng)上，許多公司只好購(gòu)買(mǎi)許多復(fù)雜的工具來(lái)發(fā)現(xiàn)數(shù)據(jù)集、購(gòu)買(mǎi)抽取/轉(zhuǎn)換/加載(ETL)工具來(lái)準(zhǔn)備分析，購(gòu)買(mǎi)另外的工具來(lái)分析和提供可視化的交互式儀表板。

如今，我迫不及待地想與各位介紹一種全新的服務(wù)：Amazon QuickSight，旨在簡(jiǎn)化從種類(lèi)繁多的數(shù)據(jù)源獲取洞察力的過(guò)程，以便快速、輕松、低成本地獲取洞察力。QuickSight是一種非常快、云驅(qū)動(dòng)的商業(yè)智能服務(wù)，成本卻只有傳統(tǒng)商業(yè)智能解決方案的十分之一。

大數(shù)據(jù)挑戰(zhàn)

近幾年來(lái)，AWS提供了一系列全面服務(wù)，幫助客戶(hù)收集、存儲(chǔ)和處理越來(lái)越多的數(shù)據(jù)量。如今，成千上萬(wàn)家公司在使用亞馬遜網(wǎng)絡(luò)服務(wù)(AWS)來(lái)滿(mǎn)足其在大數(shù)據(jù)方面的要求：既有強(qiáng)生、三星和飛利浦這樣的大企業(yè)，也有網(wǎng)飛(Netflix)和Adobe這樣的老牌科技公司，還有Airbnb、Yelp和Foursquare這樣的創(chuàng)新初創(chuàng)公司。

每天都有大量的數(shù)據(jù)從在AWS基礎(chǔ)設(shè)施上運(yùn)行的客戶(hù)應(yīng)用軟件生成，使用Amazon Kinesis之類(lèi)的服務(wù)來(lái)收集和流式傳輸，存儲(chǔ)在AWS關(guān)系數(shù)據(jù)源中(比如Amazon RDS、Amazon Aurora和Amazon Redshift)、NoSQL數(shù)據(jù)源(比如Amazon DynamoDB)以及基于文件的數(shù)據(jù)源(比如Amazon S3)?？蛻?hù)還使用眾多不同的工具，包括Amazon EMR for Hadoop、Amazon Machine Learning、AWS Data Pipeline和AWS Lambda，處理及分析數(shù)據(jù)。

收集、存儲(chǔ)和處理的數(shù)據(jù)與業(yè)務(wù)用戶(hù)每天做出的關(guān)鍵決策之間存在固有的缺口。簡(jiǎn)而言之，對(duì)企業(yè)組織的最終用戶(hù)而言，數(shù)據(jù)并不總是隨時(shí)可用、易于訪問(wèn)。大多數(shù)業(yè)務(wù)用戶(hù)繼續(xù)在努力解答重要的業(yè)務(wù)問(wèn)題，比如“我的主要客戶(hù)是哪些，他們?cè)谫?gòu)買(mǎi)什么?”，“我開(kāi)展的營(yíng)銷(xiāo)活動(dòng)效果怎樣?”，以及“為什么我盈利最多的區(qū)域沒(méi)出現(xiàn)業(yè)務(wù)增長(zhǎng)?”雖然商業(yè)智能解決方案面市已有幾十年了，但是客戶(hù)告訴我們，彌補(bǔ)這個(gè)缺口需要投入大量的時(shí)間、IT人力和資金。

傳統(tǒng)的商業(yè)智能解決方案通常需要數(shù)據(jù)工程師組成的團(tuán)隊(duì)花幾個(gè)月時(shí)間來(lái)構(gòu)建復(fù)雜的數(shù)據(jù)模型，綜合數(shù)據(jù)，然后才能生成第一份報(bào)表。這種解決方案缺少交互式數(shù)據(jù)探查和可視化功能，大多數(shù)業(yè)務(wù)用戶(hù)只好使用現(xiàn)成報(bào)表和預(yù)先選擇的查詢(xún)。

內(nèi)部部署型商業(yè)智能工具還要求公司配置和維護(hù)復(fù)雜的硬件基礎(chǔ)設(shè)施，并支付昂貴的軟件許可證、維護(hù)費(fèi)和支持費(fèi)，而支持費(fèi)每年每個(gè)用戶(hù)可能高達(dá)數(shù)千美元。為了適應(yīng)數(shù)量更多的用戶(hù)，并支持社交媒體、互聯(lián)網(wǎng)、移動(dòng)、物聯(lián)網(wǎng)、廣告技術(shù)和電子商務(wù)等工作負(fù)載帶來(lái)的激增數(shù)據(jù)量，這些工具需要投資興建更多的基礎(chǔ)設(shè)施，以保持合理的查詢(xún)性能。實(shí)施和擴(kuò)展商業(yè)智能解決方案成本高、難度大，這讓大多數(shù)公司很難在整個(gè)企業(yè)組織普遍使用商業(yè)智能。

Amazon QuickSight應(yīng)運(yùn)而生

QuickSight是一種從頭開(kāi)始構(gòu)建的云驅(qū)動(dòng)的商業(yè)智能服務(wù)，旨在應(yīng)對(duì)大數(shù)據(jù)在速度、復(fù)雜性和成本等方面的幾大挑戰(zhàn)。有了QuickSight，貴公司的業(yè)務(wù)用戶(hù)只要借助易于使用的用戶(hù)界面，就能做到分散在眾多不同大數(shù)據(jù)源(比如關(guān)系數(shù)據(jù)源、NoSQL數(shù)據(jù)源和流式數(shù)據(jù)集)的數(shù)據(jù)觸手可及，而成本只有傳統(tǒng)商業(yè)智能解決方案的十分之一。很容易從QuickSight開(kāi)始入手。下面就介紹QuickSight的一些核心功能。QuickSight讓你很容易在短短幾分鐘內(nèi)，完成安裝、連接至數(shù)據(jù)源，并構(gòu)建可視化類(lèi)型。

QuickSight凝聚了大量的創(chuàng)新技術(shù)，讓業(yè)務(wù)用戶(hù)可以迅速獲得第一洞察力。下面是驅(qū)動(dòng)QuickSight的幾大創(chuàng)新技術(shù)。

SPICE：讓QuickSight功能如此強(qiáng)大的主要組件之一是超高速并行內(nèi)存計(jì)算引擎(SPICE)。SPIC是一項(xiàng)從頭開(kāi)始構(gòu)建的新技術(shù)，由當(dāng)初開(kāi)發(fā)了DynamoDB、Amazon Redshift和Amazon Aurora等技術(shù)的同一個(gè)團(tuán)隊(duì)開(kāi)發(fā)。SPICE讓QuickSight能夠擴(kuò)展至數(shù)TB分析數(shù)據(jù)的環(huán)境，對(duì)大多數(shù)可視化查詢(xún)而言提供了毫秒級(jí)的響應(yīng)時(shí)間。如果你用QuickSigh處理某個(gè)數(shù)據(jù)源，數(shù)據(jù)會(huì)自動(dòng)被吸納到SPICE中，以獲得最佳的分析查詢(xún)性能。SPICE結(jié)合使用了列存儲(chǔ)、借助最新硬件創(chuàng)新實(shí)現(xiàn)的內(nèi)存技術(shù)、機(jī)器碼生成和數(shù)據(jù)壓縮，讓用戶(hù)得以對(duì)龐大數(shù)據(jù)集執(zhí)行交互式查詢(xún)，并且迅速獲得響應(yīng)。SPICE支持豐富的運(yùn)算，從而幫助客戶(hù)在探查數(shù)據(jù)時(shí)獲取寶貴的洞察力，沒(méi)必要為配置和管理基礎(chǔ)設(shè)施而操心。SPICE可自動(dòng)復(fù)制數(shù)據(jù)，確保高可用性和高性能。這樣一來(lái)，企業(yè)組織就能擴(kuò)展至數(shù)千個(gè)用戶(hù)：他們都能針對(duì)一系列廣泛的AWS數(shù)據(jù)源，執(zhí)行快速的交互式查詢(xún)。除了驅(qū)動(dòng)QuickSight外，我們還讓AWS商業(yè)智能合作伙伴能夠與SPICE整合起來(lái)，那樣使用我們合作伙伴工具的客戶(hù)可以借助已經(jīng)很熟悉的用戶(hù)界面，迅速直觀地顯示數(shù)據(jù)。

自動(dòng)發(fā)現(xiàn)：商業(yè)智能和數(shù)據(jù)分析面臨的挑戰(zhàn)之一就是，發(fā)現(xiàn)數(shù)據(jù)，并篩選數(shù)據(jù)以便分析。這需要IT部門(mén)建立數(shù)據(jù)目錄，并且借助分析引擎和工具確保數(shù)據(jù)可以發(fā)現(xiàn)。用戶(hù)登錄進(jìn)入到QuickSight后，它會(huì)自動(dòng)發(fā)現(xiàn)客戶(hù)可以訪問(wèn)的所有數(shù)據(jù)源，并分析它們，不需要數(shù)據(jù)庫(kù)配置和安裝等操作。比如說(shuō)，客戶(hù)可以直觀地顯示其在Amazon Redshift集群上的數(shù)據(jù)，只要選一張表，然后進(jìn)入到可視化顯示，最多只要點(diǎn)擊三下。為了做到這一點(diǎn)，我們構(gòu)建了一項(xiàng)活動(dòng)元數(shù)據(jù)目錄服務(wù)，它為客戶(hù)可以訪問(wèn)的所有數(shù)據(jù)源(比如Amazon Redshift、RDS、S3、Amazon EMR和DynamoDB)編制了一份目錄。

AutoGraph：選擇合適的可視化類(lèi)型并非易事，背后有許多學(xué)問(wèn)和門(mén)道。比如說(shuō)，最佳可視化取決于諸多因素：用戶(hù)選擇的數(shù)據(jù)字段類(lèi)型(比如“是時(shí)間、號(hào)碼還是字符串”)，數(shù)據(jù)基數(shù)(比如“該字段只有4個(gè)獨(dú)特的值還是有100萬(wàn)個(gè)值?”)，以及用戶(hù)試圖可視化的數(shù)據(jù)字段數(shù)量。雖然QuickSight支持多種圖形類(lèi)型(比如條形圖、線形圖、散布圖、箱形圖和餅形圖等)，但我們?cè)噲D簡(jiǎn)化的其中一個(gè)方面是，使用一種名為AutoGraph的技術(shù)，自動(dòng)為所選擇的數(shù)據(jù)選擇合適可視化的功能。有了該技術(shù)，用戶(hù)選擇好想要可視化顯示的哪些數(shù)據(jù)字段后，QuickSight就會(huì)為它們自動(dòng)選擇合適的可視化類(lèi)型。

建議：數(shù)據(jù)的絕對(duì)數(shù)量可能大得驚人;許多用戶(hù)只想探查其數(shù)據(jù)，了解值得關(guān)注的特點(diǎn)。比如說(shuō)，針對(duì)Amazon Redshift集群中銷(xiāo)售數(shù)據(jù)的最常見(jiàn)查詢(xún)可能是，“一段時(shí)間后，涵蓋不同類(lèi)別的總體銷(xiāo)售額會(huì)出現(xiàn)怎樣的增長(zhǎng)?”借助QuickSight，我們開(kāi)發(fā)了一種引擎，可以為有意義的分析提供建議，用戶(hù)選擇所要分析的數(shù)據(jù)源時(shí)可能對(duì)此有興趣。引擎通過(guò)分析數(shù)據(jù)源的元數(shù)據(jù)、最常訪問(wèn)的查詢(xún)以及另外幾個(gè)參數(shù)來(lái)提供建議。我們認(rèn)為，這為用戶(hù)無(wú)需做大量工作，獲取寶貴的洞察力提供了一種簡(jiǎn)單方法。

協(xié)作和共享實(shí)時(shí)分析結(jié)果：用戶(hù)們常常想要對(duì)數(shù)據(jù)進(jìn)行交叉分析，并以一種安全的方式共享分析結(jié)果。有了QuickSight，用戶(hù)就能構(gòu)建一個(gè)“故事板”(storyboard)――故事板里面有多種分析，加以適當(dāng)?shù)淖⑨專(zhuān)缓笈c企業(yè)組織中的其他人共享。不像傳統(tǒng)工具，它們能夠共享實(shí)時(shí)分析結(jié)果，而不是只能共享靜態(tài)圖像，那樣接收方同樣能從共享的故事板中獲取洞察力。我們還為眾多企業(yè)提供了與活動(dòng)目錄集成的功能，那樣客戶(hù)就能使用其現(xiàn)有的登錄信息(credential)，共享洞察力。

我在本文中只著重介紹了QuickSight的幾個(gè)重大創(chuàng)新。想了解關(guān)于這款產(chǎn)品的詳細(xì)信息，請(qǐng)?jiān)L問(wèn)AWS博客、 QuickSight詳情頁(yè)面和常見(jiàn)問(wèn)題解答(FAQ)頁(yè)面。

評(píng)價(jià)

正如我在前面所述，亞馬遜和AWS 的許多創(chuàng)新(包括QuickSight)源自于客戶(hù)反饋。我們積極聽(tīng)取客戶(hù)的痛點(diǎn)，處理基礎(chǔ)設(shè)施、數(shù)據(jù)管理和數(shù)據(jù)分析等各方面無(wú)差別的繁重任務(wù)。不斷聽(tīng)取客戶(hù)反饋，迅速迭代產(chǎn)品功能，這個(gè)戰(zhàn)略已成為一個(gè)良性循環(huán)，對(duì)我們來(lái)說(shuō)一直屢試不爽。QuickSight同樣從類(lèi)似的根基起家;在發(fā)布的最終階段，我有幸聽(tīng)自客戶(hù)的這類(lèi)積極反饋。我們聽(tīng)到納斯達(dá)克(Nasdaq)和Intuit等客戶(hù)給予了好評(píng)。

納斯達(dá)克讓其客戶(hù)能夠從容地規(guī)劃、優(yōu)化和實(shí)現(xiàn)業(yè)務(wù)愿景，并使用久經(jīng)考驗(yàn)的技術(shù)，提供透明度和洞察力，馳騁于如今的全球資本市場(chǎng)。其技術(shù)驅(qū)動(dòng)著50個(gè)國(guó)家的100多個(gè)市場(chǎng)、　清算機(jī)構(gòu)和中央證券存管機(jī)構(gòu)，所以生成了大量數(shù)據(jù)。納斯達(dá)克公司的首席架構(gòu)師Nate Simmons告訴我們，他們始終對(duì)分析存儲(chǔ)在Amazon Redshift、Amazon S3及其他數(shù)據(jù)源中的數(shù)據(jù)的新工具饒有興趣。對(duì)他來(lái)說(shuō)，數(shù)據(jù)量和使用日益增長(zhǎng)的同時(shí)，擁有超高速性能對(duì)他的用戶(hù)來(lái)說(shuō)至關(guān)重要?；陬A(yù)覽QuickSight的情況，他們發(fā)現(xiàn)，SPICE內(nèi)存運(yùn)算引擎結(jié)合易于使用的用戶(hù)界面，很適合其使用場(chǎng)合。

同樣，Intuit公司的公有云主管Troy Otillio告訴我們，從初期預(yù)覽QuickSight的情況來(lái)看，他們認(rèn)為這項(xiàng)服務(wù)會(huì)挑戰(zhàn)現(xiàn)狀。他提到，該產(chǎn)品對(duì)業(yè)務(wù)用戶(hù)來(lái)說(shuō)界面直觀，對(duì)需要一種超高速性能、易于使用的工具的營(yíng)銷(xiāo)人員來(lái)說(shuō)更是如此。

【新聞來(lái)源：www.stratoscale.com|云頭條編譯(未經(jīng)授權(quán)謝絕轉(zhuǎn)載)】

文章名稱(chēng)：驅(qū)動(dòng)AWSQuickSight應(yīng)對(duì)大數(shù)據(jù)挑戰(zhàn)的創(chuàng)新技術(shù)
分享網(wǎng)址：http://m.fisionsoft.com.cn/article/cochjhp.html