建站
咨詢
售后
建站咨詢
新聞中心
數(shù)據(jù)通常被描述為新油，但與種植精致水果相比，確保數(shù)據(jù)質(zhì)量更好。就像一棵果樹一樣，數(shù)據(jù)質(zhì)量需要從源頭上得到滋養(yǎng)。這就是為什么無法在數(shù)據(jù)倉庫中解決數(shù)據(jù)質(zhì)量問題的原因。
成都創(chuàng)新互聯(lián)公司專注為客戶提供全方位的互聯(lián)網(wǎng)綜合服務(wù)，包含不限于成都做網(wǎng)站、成都網(wǎng)站設(shè)計、菏澤網(wǎng)絡(luò)推廣、小程序設(shè)計、菏澤網(wǎng)絡(luò)營銷、菏澤企業(yè)策劃、菏澤品牌公關(guān)、搜索引擎seo、人物專訪、企業(yè)宣傳片、企業(yè)代運營等，從售前售中售后，我們都將竭誠為您服務(wù)，您的肯定，是我們最大的嘉獎；成都創(chuàng)新互聯(lián)公司為所有大學(xué)生創(chuàng)業(yè)者提供菏澤建站搭建服務(wù)，24小時服務(wù)熱線：13518219792，官方網(wǎng)址：www.cdcxhl.com
數(shù)據(jù)科學(xué)家大部分時間都在清理在這個關(guān)鍵階段被忽視的數(shù)據(jù)集，不僅浪費了寶貴的時間，而且還產(chǎn)生了另一個問題。
當(dāng)稍后清理數(shù)據(jù)時，會做出許多可能扭曲結(jié)果的假設(shè)。然而，數(shù)據(jù)科學(xué)家別無選擇，只能做出這些假設(shè)。這就是為什么數(shù)據(jù)治理對提高數(shù)據(jù)質(zhì)量非常重要。
談到質(zhì)量，數(shù)據(jù)不像油，而是像更水果，質(zhì)量需要在源頭和運輸過程中得到培養(yǎng)。數(shù)據(jù)質(zhì)量無法在數(shù)據(jù)倉庫中修復(fù)。
獨立用戶的問題在于傾向于將精力集中在受影響最大的領(lǐng)域。例如，項目經(jīng)理可能更關(guān)心 IT 資產(chǎn)管理流程中的低效率，而 CFO 可能會向董事會或股東提交報告，并發(fā)現(xiàn)缺少重要數(shù)據(jù)。
為什么數(shù)據(jù)質(zhì)量會受到影響？
可以使用幾個相互關(guān)聯(lián)的參數(shù)來確定數(shù)據(jù)的質(zhì)量。這些參數(shù)包括數(shù)據(jù)的一致性、及時性或相關(guān)性、準(zhǔn)確性和完整性。
質(zhì)量差的數(shù)據(jù)有兩個關(guān)鍵原因。第一個與源系統(tǒng)有關(guān)，第二個發(fā)生在分析階段。
源系統(tǒng)
當(dāng)組織在沒有適當(dāng)控制或標(biāo)準(zhǔn)化流程的情況下收集數(shù)據(jù)時，可能會出現(xiàn)問題。這些問題發(fā)生在四個核心領(lǐng)域：
(1) 采集期間：數(shù)據(jù)采集是質(zhì)量控制過程的重要組成部分。這個初始步驟可以為質(zhì)量差的數(shù)據(jù)集設(shè)置路線。
例如，如果在此階段錯誤地輸入了電話號碼，那么在數(shù)據(jù)旅程的后期，此信息可能會與其他系統(tǒng)中的記錄發(fā)生沖突，從而很難確認(rèn)客戶的身份。
(2) 轉(zhuǎn)換期間：隨著數(shù)據(jù)從用戶傳遞到用戶和系統(tǒng)傳遞到系統(tǒng)，被轉(zhuǎn)換。例如，當(dāng)一個流程沒有正確記錄時，就不可能有效地跟蹤這些數(shù)據(jù)的沿襲，結(jié)果，數(shù)據(jù)的質(zhì)量就會受到影響。
想象一個場景，會計記錄從財務(wù)部門的一名工作人員傳遞給另一名工作人員。如果第一位員工在轉(zhuǎn)移記錄之前未能更新記錄，他們可能會無意中讓客戶跳過到期付款。
(3) 由于時效性：:即使數(shù)據(jù)捕獲階段產(chǎn)生了高質(zhì)量的數(shù)據(jù)，隨著時間的推移，它也可能會減少。例如，有人可能會在捕獲數(shù)據(jù)時提供正確的地址或職位，但如果同一個人改變了他們的工作或地址，則必須更新這些字段。
(4) 由于不一致的流程和標(biāo)準(zhǔn)：當(dāng)您使用不同標(biāo)準(zhǔn)從不同系統(tǒng)捕獲數(shù)據(jù)時會發(fā)生這種情況。例如，當(dāng)您在一個系統(tǒng)中捕獲計量單位時，您可能會使用 EA 或 LB 之類的代碼。在另一個系統(tǒng)中，可能會使用不同的標(biāo)準(zhǔn)，例如 EACH 或 POUND。
以國家代碼的類比來更詳細(xì)地解釋其中一些問題。許多系統(tǒng)要求用戶輸入國家代碼以完成注冊文件、進(jìn)行預(yù)訂等。在某些情況下，用戶需要手動輸入這些代碼，而不是從預(yù)先建立的列表中選擇一個選項。
問題是，不能保證每個用戶都會輸入相同的信息。事實上，這幾乎是不可能的。當(dāng)要求人們獨立鍵入此信息時，會無意中為同一個國家/地區(qū)創(chuàng)建許多代碼，并且系統(tǒng)將充滿相互沖突的數(shù)據(jù)點。
分析階段
由于多種原因，數(shù)據(jù)質(zhì)量可能會在分析階段受到影響。例如，字段可能被錯誤地映射，或者用戶可能根據(jù)數(shù)據(jù)做出錯誤的假設(shè)。
這種缺乏連貫性和標(biāo)準(zhǔn)的缺失也會影響數(shù)字化轉(zhuǎn)型。當(dāng)公司合并時——糟糕的數(shù)據(jù)質(zhì)量使這些合并變得困難。如果沒有定義標(biāo)準(zhǔn)或常見問題，數(shù)據(jù)質(zhì)量就會成為一個大問題。
當(dāng)數(shù)據(jù)質(zhì)量不完美時，它就會變得不可信，從而難以說服員工將其用于數(shù)據(jù)驅(qū)動的計劃。
為什么需要獨立的數(shù)據(jù)質(zhì)量經(jīng)理？
正如文章開頭提到的，數(shù)據(jù)質(zhì)量是數(shù)據(jù)治理計劃的核心成果。因此，數(shù)據(jù)治理團(tuán)隊、小組和部門的一個關(guān)鍵問題是提高數(shù)據(jù)的整體質(zhì)量。但是有一個問題：協(xié)調(diào)。
如果與來自不同部門的不同人談?wù)摂?shù)據(jù)質(zhì)量，總會得到不同的回應(yīng)。例如，如果詢問 ETL 開發(fā)人員他們?nèi)绾魏饬繑?shù)據(jù)質(zhì)量，他們可能會依賴一組特定的參數(shù)或規(guī)則來確保他們輸入的數(shù)據(jù)符合要求。
如果源頭質(zhì)量不好，他們就不太可能舉報，甚至不會將其視為他們的擔(dān)憂。或者，如果與處理 CRM 系統(tǒng)的人交談，他們將關(guān)注數(shù)據(jù)的一致性，因為他們無法匹配系統(tǒng)中的沖突術(shù)語。簡而言之，每個人都從不同的角度看待數(shù)據(jù)質(zhì)量。
由于大多數(shù)數(shù)據(jù)質(zhì)量問題是由于跨多個應(yīng)用程序的集成和數(shù)據(jù)轉(zhuǎn)換問題而發(fā)生的，因此擁有一個獨立的數(shù)據(jù)質(zhì)量經(jīng)理或數(shù)據(jù)治理經(jīng)理來負(fù)責(zé)提高整個組織的數(shù)據(jù)質(zhì)量非常重要。
因為有很多相互矛盾的意見，需要一個獨立的機(jī)構(gòu)來調(diào)解和實施全公司范圍內(nèi)的數(shù)據(jù)質(zhì)量改進(jìn)工作，沒有偏見，并且基于重要性等級。該主體可以是數(shù)據(jù)治理經(jīng)理或組。
為了有效地解決數(shù)據(jù)質(zhì)量問題，需要確定優(yōu)先級。應(yīng)根據(jù)業(yè)務(wù)影響、流行程度和數(shù)據(jù)質(zhì)量問題的復(fù)雜性等參數(shù)對這些問題進(jìn)行優(yōu)先級排序。
數(shù)據(jù)質(zhì)量改進(jìn)生命周期
每個人的個人數(shù)據(jù)質(zhì)量問題對該個人都非常重要。但是，為了避免迷失在問題的海洋中，需要確定優(yōu)先級。應(yīng)根據(jù)業(yè)務(wù)影響、普遍性和數(shù)據(jù)質(zhì)量問題的復(fù)雜性等參數(shù)對數(shù)據(jù)質(zhì)量問題進(jìn)行優(yōu)先級排序。這能夠有效地解決這些問題。
以下是用于提高數(shù)據(jù)質(zhì)量的久經(jīng)考驗的策略：數(shù)據(jù)質(zhì)量改進(jìn)生命周期。
1. 定義
第一步是定義數(shù)據(jù)質(zhì)量標(biāo)準(zhǔn)。這些標(biāo)準(zhǔn)將成為努力實現(xiàn)的基準(zhǔn)。此步驟能夠設(shè)定目標(biāo)并建立關(guān)于如何提高數(shù)據(jù)質(zhì)量最終發(fā)展業(yè)務(wù)的愿景。
例如，每次捕獲社會安全號碼時，都應(yīng)該捕獲九位數(shù)字?；蛘?，每次收集電子郵件地址時，請確保輸入兩次作為輔助確認(rèn)步驟。
2. 收集
接下來，需要使用框架記錄組織中的所有數(shù)據(jù)質(zhì)量問題，以定位數(shù)據(jù)質(zhì)量問題。有兩種方法可以成功地做到這一點。首先是在公司內(nèi)部創(chuàng)建一個數(shù)據(jù)素養(yǎng)計劃。
一旦組織內(nèi)建立了廣泛的素養(yǎng)，就可以建立一個報告機(jī)制，用戶可以去那里交流他們的數(shù)據(jù)質(zhì)量問題。此步驟的唯一目標(biāo)是從所有來源收集數(shù)據(jù)質(zhì)量問題，以便數(shù)據(jù)治理組將列出必須解決的問題。
捕獲數(shù)據(jù)質(zhì)量問題時，必須記錄以下信息：
- 商業(yè)價值
- 問題所在
- 問題是什么
- 優(yōu)先級(從客戶的角度)
一旦在組織內(nèi)建立了廣泛的數(shù)據(jù)素養(yǎng)，就可以建立一個報告機(jī)制，用戶可以去那里交流他們的數(shù)據(jù)質(zhì)量問題。
3. 優(yōu)先
下一部分是開發(fā)一種機(jī)制，幫助我們了解這些數(shù)據(jù)質(zhì)量問題對業(yè)務(wù)的影響。這是數(shù)據(jù)治理經(jīng)理需要做的最重要的任務(wù)。他們在評估中必須考慮以下幾點：
- 商業(yè)價值
- 主要原因分析
- 解決問題的大致努力
- 更換管理層
此過程使治理團(tuán)隊能夠有效地確定問題的優(yōu)先級。這種優(yōu)先排序過程通常會造成瓶頸，因為很難做出一致的決定。
以國家代碼為例，不同的系統(tǒng)可能有不同的選擇，要做出決定，需要有一個框架，而這個框架的核心是一個數(shù)據(jù)治理委員會。該委員會應(yīng)由組織中所有不同業(yè)務(wù)部門的領(lǐng)導(dǎo)組成。
當(dāng)數(shù)據(jù)治理經(jīng)理提出問題時，需要將其提交給委員會進(jìn)行評估。他們將根據(jù)包括成本/收益比和業(yè)務(wù)影響在內(nèi)的許多因素來權(quán)衡問題。
當(dāng)做出關(guān)鍵的數(shù)據(jù)質(zhì)量決策時，需要對業(yè)務(wù)流程進(jìn)行某種更改。實質(zhì)上會導(dǎo)致額外的工作和支出，因此需要在跨部門、公正、委員會層面做出決定。
4. 分析
一旦確定了問題并確定了優(yōu)先級，負(fù)責(zé)批準(zhǔn)和解決問題的人員需要進(jìn)行進(jìn)一步的根本原因分析。這個過程涉及提出問題，例如每個問題的根源來自哪里。問題的真正原因是什么？
使用國家代碼示例，需要確定這個無效字段是如何導(dǎo)致數(shù)據(jù)質(zhì)量問題的。問題的根源是用戶手動輸入代碼，還是因為公司購買數(shù)據(jù)而無法控制？
5. 改進(jìn)
解決數(shù)據(jù)質(zhì)量問題有四種關(guān)鍵方法：
- 可以通過直接使用源代碼并在那里進(jìn)行相關(guān)更改來手動修復(fù)問題。
- 可以在 ETL 管道中進(jìn)行更改。為此，需要開發(fā)代碼來決定如何通過已安裝的集成處理數(shù)據(jù)，也稱為 ETL 邏輯。
- 另一種選擇是對特定流程進(jìn)行更改。例如，在國家代碼字段中選擇數(shù)據(jù)的過程會發(fā)生變化?？梢蕴砑右粋€下拉菜單，而不是要求用戶手動輸入國家/地區(qū)代碼，這樣就別無選擇，只能選擇的國家/地區(qū)選擇正確的代碼。
- 第四種方法稱為主數(shù)據(jù)和參考數(shù)據(jù)管理。當(dāng)缺少主數(shù)據(jù)時，明確定義的數(shù)據(jù)質(zhì)量問題會很明顯。例如，可能需要手動輸入客戶名稱字段，因為沒有正確的主數(shù)據(jù)，所以沒有其他方法。
一種常見的主數(shù)據(jù)管理解決方案是創(chuàng)建一個存儲所有主數(shù)據(jù)的地方，其他系統(tǒng)可以使用密鑰來引用這些數(shù)據(jù)。主數(shù)據(jù)管理需要大量資金并且可能相當(dāng)復(fù)雜，但它非常有效。
參考數(shù)據(jù)通常是主數(shù)據(jù)可以參考的列表。與主數(shù)據(jù)不同，往往是相對靜態(tài)的。采取措施管理參考數(shù)據(jù)，例如訪問控制和關(guān)系映射，也將有助于提高數(shù)據(jù)質(zhì)量。
6. 控制
該過程的最后一步是編寫一組數(shù)據(jù)質(zhì)量規(guī)則。這將確保如果再次出現(xiàn)此問題，則會創(chuàng)建通知或票證來解決問題。
通過這樣的通知，可以更輕松地快速處理問題，而不必咨詢多個人并進(jìn)行復(fù)雜的分析。
當(dāng)前文章：數(shù)據(jù)安全：提高數(shù)據(jù)質(zhì)量的優(yōu)秀實踐
瀏覽地址：http://m.fisionsoft.com.cn/article/dhogccp.html
