建站
咨詢
售后
建站咨詢
新聞中心
標準的機器學(xué)習(xí)方法需要將訓(xùn)練數(shù)據(jù)集中到一臺機器上或一個數(shù)據(jù)中心內(nèi)。為了處理此數(shù)據(jù)，改善我們的服務(wù)，Google 構(gòu)建了一套最安全、***大的云基礎(chǔ)架構(gòu)。現(xiàn)在，對于通過用戶與移動設(shè)備交互進行訓(xùn)練的學(xué)習(xí)模式，我們另外引入了一種方法：聯(lián)合學(xué)習(xí)。
通過聯(lián)合學(xué)習(xí)，移動電話可以協(xié)同學(xué)習(xí)共享的預(yù)測模型，同時將所有訓(xùn)練數(shù)據(jù)保留在設(shè)備上，從而無需將數(shù)據(jù)存儲在云中，即可進行機器學(xué)習(xí)。同時，通過將模型訓(xùn)練引入到設(shè)備上，超越了以往使用本地模型預(yù)測移動設(shè)備(例如 Mobile Vision API 和設(shè)備端智能回復(fù))的模式。
其工作原理如下：您的設(shè)備下載當前模型，通過學(xué)習(xí)手機中的數(shù)據(jù)改進模型，然后以小幅更新的形式匯總所做的變更。通過加密通信僅將此模型的更新發(fā)送至云，在云中，立即與其他用戶更新進行平均，以改進共享模型。所有訓(xùn)練數(shù)據(jù)仍保留在您的設(shè)備上，云中未存儲任何個別用戶的更新。
▲ 您的手機根據(jù)您的使用情況，在本地建立個性化模型 (A)。然后，許多用戶的更新聚合 (B) 在一起，形成對共享模型的一致更新 (C)，之后不斷重復(fù)此流程。
聯(lián)合學(xué)習(xí)可建立更智能的模型，縮短延遲時間，減小功耗，同時確保隱私性。這種方法另一個直接的益處是：除了為共享模型提供更新之外，還可以即時使用手機中經(jīng)過改進的模型，根據(jù)您使用手機的方式，提供個性化的體驗。
我們目前正在 Android 版 Gboard(即 Google 鍵盤)中測試聯(lián)合學(xué)習(xí)。當 Gboard 顯示建議的查詢內(nèi)容時，您的手機在本地存儲與當前上下文以及您是否點擊此建議有關(guān)的信息。聯(lián)合學(xué)習(xí)處理設(shè)備上的歷史記錄，為 Gboard 的查詢建議模型的后續(xù)迭代提出改進建議。
要實現(xiàn)聯(lián)合學(xué)習(xí)，我們必須克服算法和技術(shù)上的諸多挑戰(zhàn)。在典型的機器學(xué)習(xí)系統(tǒng)中，對大型數(shù)據(jù)集執(zhí)行類似隨機梯度下降 (SGD) 這樣的優(yōu)化算法時，會將數(shù)據(jù)集均勻地分散在云中的不同服務(wù)器上。這種高度迭代的算法要求與訓(xùn)練數(shù)據(jù)之間保持低延遲時間、高吞吐量的連接。而在聯(lián)合學(xué)習(xí)環(huán)境中，數(shù)據(jù)很不均勻地分散在數(shù)以百萬計的設(shè)備之間。此外，相比之下，這些設(shè)備的連接的延遲時間要長很多，而吞吐量卻低很多，并且只能間歇性用于訓(xùn)練。
這些帶寬和延遲時間上的限制促使我們設(shè)計出聯(lián)合平均算法，此算法訓(xùn)練深度網(wǎng)絡(luò)所用的通信資源不到最初 SGD 聯(lián)合版本的 1/10-1/100。關(guān)鍵在于利用現(xiàn)代移動設(shè)備中強大的處理器來計算比簡單梯度方法質(zhì)量更高的更新。由于只需較少的優(yōu)質(zhì)更新迭代就可生成適當?shù)哪Ｐ?，?xùn)練使用的通信資源大大減少。由于上傳速度通常遠低于下載速度，我們還研究出了一種新方法，通過使用隨機旋轉(zhuǎn)和量化的方式壓縮更新，使上傳通信開銷最多可降至之前的 1/100。這些方法主要用于深度網(wǎng)絡(luò)訓(xùn)練，我們還為擅長解決點擊率預(yù)測等問題的多維稀疏凸集模型設(shè)計了多種算法。
將此技術(shù)部署到數(shù)以百萬計運行 Gboard 的手機，需要一整套成熟的技術(shù)。設(shè)備端訓(xùn)練采用了迷你版 TensorFlow。審慎地計劃，確保僅在設(shè)備處于空閑、通電狀態(tài)并使用免費的無線連接時進行訓(xùn)練，以便不影響手機的性能。
▲ 僅在不會影響您的體驗的情況下，才讓您的手機參與聯(lián)合學(xué)習(xí)。
然后，系統(tǒng)需要以安全、高效、可擴展和容錯的方式傳輸和聚合模型更新。只有將研究與此基礎(chǔ)架構(gòu)相結(jié)合，才能從聯(lián)合學(xué)習(xí)中受益。
聯(lián)合學(xué)習(xí)的運行無需將用戶數(shù)據(jù)存儲在云中，但我們并未止步于此。我們開發(fā)了一種使用加密技術(shù)的安全聚合協(xié)議，以便協(xié)調(diào)服務(wù)器僅當 100 或 1000 個用戶參與時解密平均更新，在平均更新之前不檢查任何手機的更新。它是同類協(xié)議中***個可用于解決深度網(wǎng)絡(luò)級別問題和現(xiàn)實連接限制的協(xié)議。我們設(shè)計了聯(lián)合平均算法，使協(xié)調(diào)服務(wù)器僅僅需要進行平均更新，因此可使用安全聚合協(xié)議;但此協(xié)議為通用協(xié)議，也可用于解決其他問題。我們正努力將此協(xié)議應(yīng)用于生產(chǎn)環(huán)境，希望能在不久的將來將它部署用于聯(lián)合學(xué)習(xí)應(yīng)用。
在探索潛在應(yīng)用領(lǐng)域方面，我們的工作目前尚在走馬觀花階段。聯(lián)合學(xué)習(xí)無法解決所有機器學(xué)習(xí)問題(例如，通過訓(xùn)練認識仔細標注的圖例，學(xué)習(xí)識別不同的犬類)，而對于其他許多模型而言，必要的訓(xùn)練數(shù)據(jù)已存儲在云中(例如，Gmail 垃圾郵件過濾器訓(xùn)練)。因此，Google 將繼續(xù)推進基于云的***機器學(xué)習(xí)技術(shù)，同時，我們不斷研究聯(lián)合學(xué)習(xí)技術(shù)，以便解決更多的問題。例如，除了 Gboard 的查詢建議外，我們還希望改進語言模型，根據(jù)您在手機上實際鍵入的內(nèi)容改進鍵盤(可以定制獨有的鍵盤樣式)，以及根據(jù)用戶查看、分享或刪除的照片類型，對照片進行排名。
應(yīng)用聯(lián)合學(xué)習(xí)需要機器學(xué)習(xí)從業(yè)者采用新的工具和新的思維方式：模型開發(fā)、訓(xùn)練和評價，不直接訪問或標記原始數(shù)據(jù)，而通信開銷是它們的一個制約因素。我們相信，聯(lián)合學(xué)習(xí)將讓用戶受益，值得我們?nèi)スタ思夹g(shù)上的難題，而我們發(fā)布此博文的目的是希望聯(lián)合學(xué)習(xí)能在機器學(xué)習(xí)社區(qū)得到廣泛的討論。
【本文是專欄機構(gòu)“谷歌開發(fā)者”的原創(chuàng)稿件，轉(zhuǎn)載請聯(lián)系原作者(微信公眾號：Google_Developers)】
戳這里，看該作者更多好文
當前題目：聯(lián)合學(xué)習(xí)：無需集中存儲訓(xùn)練數(shù)據(jù)的協(xié)同機器學(xué)習(xí)
轉(zhuǎn)載來于：http://m.fisionsoft.com.cn/article/cdggshh.html
