建站
咨詢
售后
建站咨詢
新聞中心
譯者 | 崔皓
為杜集等地區(qū)用戶提供了全套網(wǎng)頁設計制作服務，及杜集網(wǎng)站建設行業(yè)解決方案。主營業(yè)務為成都網(wǎng)站設計、做網(wǎng)站、杜集網(wǎng)站設計，以傳統(tǒng)方式定制建設網(wǎng)站，并提供域名空間備案等一條龍服務，秉承以專業(yè)、用心的態(tài)度為用戶提供真誠的服務。我們深信只要達到每一位用戶的要求，就會得到認可，從而選擇與我們長期合作。這樣，我們也可以走得更遠！
審校 | 孫淑娟
開篇
根據(jù)Accenture的一項調(diào)查顯示，75% 的消費者更喜歡在知道他們名字和購買習慣的零售商那里消費，如果零售商無法對消費者提供個性化體驗，他們客戶中的 52% 有可能投入競爭對手的懷抱。因此，品牌方每天都會搜集數(shù)百萬數(shù)據(jù)，識別并建立客戶資料，這也是大多數(shù)公司面臨的最大挑戰(zhàn)之一。
當企業(yè)使用多種工具來采集數(shù)據(jù)的時候，常遇到客戶姓名拼錯或電子郵件地址格式混亂的情況。此外，當不同的應用擁有同一客戶不同信息時，由于信息分散導致無法深入了解客戶行為和偏好。
為了解決上述問題，我們引入了模糊匹配，接下來將介紹什么是模糊匹配、它的實現(xiàn)方式、使用哪些常用技術以及它所面臨的挑戰(zhàn)。讓我們開始吧。
什么是模糊匹配？
模糊匹配是一種數(shù)據(jù)匹配技術，它比較兩個或多個記錄并計算出它們屬于同一實體的可能性。模糊匹配得不到匹配或不匹配的結果，而是得到一個百分比（通常在 0-100% 之間），用來描述該記錄屬于同一客戶、產(chǎn)品、員工的可能性。
有效的模糊匹配算法可以處理一系列數(shù)據(jù)歧義，例如名字/姓氏顛倒、首字母縮略詞、縮略語、語音和故意拼寫錯誤、縮寫、添加/刪除的標點符號等。
模糊匹配過程
模糊匹配包括如下幾個過程：
1. 創(chuàng)建基本標準化錯誤的概要記錄。這包括已經(jīng)得到修復的錯誤，以便跨記錄實現(xiàn)統(tǒng)一和標準化的視圖。
2. 基于將發(fā)生的模糊匹配來選擇和映射屬性。由于屬性的標題可能不同，因此必須跨數(shù)據(jù)源對其進行映射。
3. 為每個屬性選擇一種模糊匹配技術。例如，名稱可以根據(jù)鍵盤距離或名稱變體進行匹配，而電話號碼可以根據(jù)數(shù)字相似度指標進行匹配。
4. 為每個屬性選擇一個權重，例如高權重與低權重的字段相比，高權重的屬性對整體匹配置信度的影響更大。
5. 定義閾值級別——模糊匹配得分只要高于該級別就被認為是匹配的，低于該級別的就認為是不匹配的。
6. 運行模糊匹配算法并分析匹配結果。
7. 覆蓋任何可能出現(xiàn)的誤報。
8. 合并、去重或簡單地消除重復記錄。
模糊匹配參數(shù)
從上面定義的過程中，可以看到模糊匹配算法有多個技術參數(shù)，包括屬性權重、模糊匹配技術和分數(shù)閾值等等。
為了獲得最佳結果，必須使用不同參數(shù)執(zhí)行模糊匹配，并找到最適合數(shù)據(jù)的值。許多供應商將這些功能打包在模糊匹配解決方案中，讓參數(shù)自動調(diào)整，同時也可以根據(jù)需要進行定制。
什么是模糊匹配技術？
當今使用的多數(shù)模糊匹配技術與比較、匹配字段的公式算法有所不同?？梢愿鶕?jù)數(shù)據(jù)的性質(zhì)選擇適合的技術。以下是常見的模糊匹配技術列表：
1. 基于字符的相似性度量（最適合匹配字符串）：
a) 編輯距離：計算兩個字符串之間的距離，逐個字符計算。
b) 仿射間隙距離：通過還考慮字符串之間的間隙或空間來計算兩個字符串之間的距離。
c) Smith-Waterman 距離：通過同時考慮前綴和后綴的存在與否來計算兩個字符串之間的距離。
d) Jaro 距離：用來匹配名字和姓氏。
2. 基于標記的相似性度量（最適合匹配字符串中完整單詞）：
a) 原子字符串：將長字符串劃分為由標點符號分隔的單詞，并在單詞上進行比較。
b) WHIRL：類似于原子字符串，但 WHIRL 會為每個單詞分配權重。
3. 語音相似度指標（最適合發(fā)音相似而字符不同的單詞）：
a) Soundex：比較拼寫不同發(fā)音相似的姓氏。
b) NYSIIS：類似于 Soundex，不同的是它保留了有關元音位置的詳細信息。
c) Metaphone：比較發(fā)音相似的單詞、美國人常用的單詞以及美國常用的名字和姓氏。
4. 數(shù)字相似度指標，數(shù)字之間的距離，數(shù)字數(shù)據(jù)的分布等。
模糊匹配的挑戰(zhàn)
雖然模糊匹配的整個過程提供了意向不到的幫助，但其實現(xiàn)卻很困難。以下是企業(yè)面臨的一些挑戰(zhàn)：
1. 高誤報率
許多模糊匹配解決方案具有較高的誤報率。當算法錯誤地分類匹配和不匹配時，就會發(fā)生這種情況，反之亦然?？梢酝ㄟ^對匹配定義和模糊參數(shù)的配置盡可能多地減少不正確的結果。
2. 計算復雜度
在匹配過程中，每條記錄都會與同一數(shù)據(jù)集中的所有記錄進行比較。在處理多個數(shù)據(jù)集的情況下，比較次數(shù)會成倍增加。值得注意的是，隨著數(shù)據(jù)庫容量的增長，比較呈二次方增長態(tài)勢。因此，必須使用資源密集型的計算系統(tǒng)。
3.驗證測試
匹配的記錄合并在一起形成實體的完整模型，可以 通過360 度視角來觀察實體。在此過程中發(fā)生的任何錯誤都會給業(yè)務運營增加風險。這就是為什么必須進行詳細的驗證測試以確保調(diào)整后的算法始終如一地產(chǎn)生高準確率的結果。
總結
企業(yè)通常將模糊匹配解決方案視為運行時間長、執(zhí)行復雜、消耗資源和耗費資金的項目。事實上，投資能夠產(chǎn)生快速和準確結果的解決方案才是關鍵。組織在選擇模糊匹配工具時需要考慮諸多因素，例如投入的時間和金錢、可擴展性設計以及數(shù)據(jù)集的性質(zhì)。這些都會幫助他們選擇解決方案，從而充分利用數(shù)據(jù)產(chǎn)生價值。
譯者介紹
崔皓，社區(qū)編輯，資深架構師，擁有18年的軟件開發(fā)和架構經(jīng)驗，10年分布式架構經(jīng)驗。
網(wǎng)頁名稱：一文搞懂模糊匹配：定義、過程與技術
本文來源：http://m.fisionsoft.com.cn/article/dppcggo.html
