建站
咨詢
售后
建站咨詢
新聞中心
【稿件】推薦系統(tǒng)是迄今為止商業(yè)化最為成功的技術之一。推薦系統(tǒng)的基本原理是基于算法和大數(shù)據猜測用戶喜好，為用戶推薦他們感興趣的物品。推薦系統(tǒng)的應用場景非常廣泛，從新聞推薦，音樂推薦，電影推薦到相親對象推薦無所不包。
10年的嘉祥網站建設經驗，針對設計、前端、開發(fā)、售后、文案、推廣等六對一服務，響應快，48小時及時工作處理。全網整合營銷推廣的優(yōu)勢是能夠根據用戶設備顯示端的尺寸不同，自動調整嘉祥建站的顯示方式，使網站能夠適用不同顯示終端，在瀏覽器中調整網站的寬度，無論在任何一種瀏覽器上瀏覽網站，都能展現(xiàn)優(yōu)雅布局與設計，從而大程度地提升瀏覽體驗。成都創(chuàng)新互聯(lián)從事“嘉祥網站設計”,“嘉祥網站推廣”以來，每個客戶項目都認真落實執(zhí)行。
許多國內外的公司已經將推薦系統(tǒng)作為其商業(yè)化產品必不可少的一部分。許多互聯(lián)網公司，例如今日頭條和 Netflix，都把推薦系統(tǒng)作為最重要的技術支撐業(yè)務。本文將按照推薦系統(tǒng)發(fā)展的脈絡，為大家介紹技術的演進。
圖 1. Netflix 推薦系統(tǒng)架構
1.協(xié)同過濾
推薦系統(tǒng)發(fā)展至今已有相當長的歷史，形成了一個龐大的算法和研發(fā)體系。推薦系統(tǒng)領域最早的算法是協(xié)同過濾，現(xiàn)在基本不被各大互聯(lián)網公司作為線上系統(tǒng)使用，僅作為算法迭代的初始比較標準。
協(xié)同過濾包括基于用戶的協(xié)同過濾(user-based collaborative filtering)和基于物品的協(xié)同過濾(item-based collaborative filtering)兩種。
- 基于用戶的協(xié)同過濾：算法思想是計算用戶和用戶之間的相似性，然后將與某個用戶最相近的物品通過用戶相似性加權計算，得分排序后推薦給用戶。
- 基于物品的協(xié)同過濾：算法思想與此類似，只是首先計算物品和物品的相似性，然后再通過加權排序的方式計算用戶的評分，并將得分高的物品推薦給用戶。
為了提高推薦系統(tǒng)的效率，在推薦系統(tǒng)發(fā)展早年，亞馬遜設計了 Slope-One 算法來進行商品推薦。
2.矩陣分解模型
如果說協(xié)同過濾是推薦系統(tǒng)發(fā)展的***階段，那么矩陣分解模型就是推薦系統(tǒng)發(fā)展的第二階段。研究者和工程師們開始利用 SVD 分解，LDA 和 ALS 等其他的矩陣分解模型將用戶對物品的評分矩陣分解為用戶-隱變量矩陣和物品-隱變量矩陣，然后通過計算向量乘積完成用戶評分矩陣的填充。
因為矩陣分解模型需要計算完整的用戶-物品評分矩陣，所以時間復雜度比較高。Google 在 2010 年發(fā)表了論文介紹了 Google News 的新聞推薦系統(tǒng)，結合了協(xié)同過濾，矩陣分解以及統(tǒng)計興趣趨勢的方法。在這一階段，出現(xiàn)了專門針對非評分矩陣的隱反饋的算法，其中比較著名的有 SVD++ 和 one-class collaborative filtering。
圖2. SVD++ 評分計算公式
3.基于邏輯回歸的點擊率預估
2010 年之后，推薦系統(tǒng)進入到發(fā)展的鼎盛時期，這一時期國內的互聯(lián)網公司紛紛意識到推薦系統(tǒng)的重要性，開始重點投入相關研發(fā)。例如百度專門成立了推薦與個性化部門，阿里巴巴也將商品推薦作為業(yè)務重點。
與國內早年開展推薦系統(tǒng)業(yè)務的豆瓣不同，因為這些公司的數(shù)據體量龐大，它們采用較多的是基于邏輯回歸的點擊率預估的方式。百度曾在2012 年和 2014 年分別在國際會議上發(fā)表論文介紹過百度知道推薦系統(tǒng)，網易也在同一時期在***會議 VLDB 上發(fā)表過論文介紹自己的相親推薦系統(tǒng)。
圖3. 百度知道推薦系統(tǒng)架構
圖4. 網易花田相親推薦系統(tǒng)架構
隨著推薦系統(tǒng)的發(fā)展，研究人員和工程師逐漸意識到混合模型與單一模型相比更加具有優(yōu)勢。我國大型互聯(lián)網公司普遍采用的點擊率預估方式主要是通過線形模型與非線性模型的疊加來完成的。
國外采用同樣思路進行推薦系統(tǒng)設計的有 Facebook 的 feed 流廣告推薦系統(tǒng)，Yahoo 的問答推薦系統(tǒng)等。美國普林斯頓大學和微軟研究院在這一時期提出了 collaborative topic regression 等算法，考慮了將基于內容的推薦，使用協(xié)同過濾和矩陣分解模型兩兩結合的算法，***成就了紐約時報的新聞推薦系統(tǒng)。
圖5. Collaborative Topic Regression 算法的圖模型
4.排序學習
2010 年以后，推薦系統(tǒng)的研究領域出現(xiàn)了一股新的思潮。許多研究者開始考慮利用排序學習的方法進行推薦。在2010年初期，推薦系統(tǒng)的國際會議 ACM RecSys 上集中出現(xiàn)了一批利用排序學習進行推薦的論文。
排序學習優(yōu)化的目標包括 MRR，NDCG，AUC 等信息檢索指標，代表性的算法有 Bayesian Personalized Ranking，Collaborative Less is More Filtering 等。排序學習本身可以作為獨立的推薦算法，也可以作為一個更為完整的推薦系統(tǒng)***進行排序的部分。新浪微博等公司都曾采用排序學習作為自己推薦系統(tǒng)的一部分。
圖6. Bayesian Personalized Ranking 偽代碼
5.深度學習
近年來，隨著深度學習的興起，推薦系統(tǒng)也受到了人工智能大潮的洗禮。百度，Google，京東和阿里巴巴等公司都逐步采用深度學習或者深度增強學習來替換原有的推薦系統(tǒng)。KDD 和 RecSys 上出現(xiàn)了一批相關的企業(yè)論文。深度學習正在逐步成為推薦系統(tǒng)未來發(fā)展的主流趨勢。
圖 7. YouTube 深度學習推薦系統(tǒng)架構
圖 8. 基于 GRU 的深度文本推薦系統(tǒng)，Ask the GRU: Multi-Task Learning for Deep Text Recommendations，ACM RecSys 2016
同時，推薦系統(tǒng)催生了一批創(chuàng)業(yè)公司，2013年和2014年國外出現(xiàn)了一股推薦系統(tǒng)創(chuàng)業(yè)熱潮。中國的企業(yè)也在苦苦的尋覓推薦系統(tǒng)商業(yè)模式之后，誕生了一家以推薦系統(tǒng)作為***賣點的互聯(lián)網公司 —— 今日頭條。
總之，推薦系統(tǒng)作為一個技術領域，無數(shù)的技術人員投入了大量的心血，我們期待在不遠的未來，推薦系統(tǒng)領域能夠迎來一個又一個新的創(chuàng)新高峰并催生出一批新的商業(yè)公司。
汪昊，恒昌利通大數(shù)據部負責人，美國猶他大學碩士，在百度，新浪，網易，豆瓣等公司有多年的研發(fā)和技術管理經驗，擅長機器學習，大數(shù)據，推薦系統(tǒng)，社交網絡分析等技術。在 TVCG 和 ASONAM 等國際會議和期刊發(fā)表論文 5 篇。本科畢業(yè)論文獲國際會議 IEEE SMI 2008 ***論文獎。
【原創(chuàng)稿件，合作站點轉載請注明原文作者和出處為.com】
本文標題：那些熟悉的互聯(lián)網產品背后推薦系統(tǒng)的技術演進
標題網址：http://m.fisionsoft.com.cn/article/dpsjjhd.html
