什麼是資料管理？
資料管理是收集、儲存、保護和使用組織資料的過程。雖然組織目前擁有數個不同的資料來源，但他們必須分析和整合資料，以獲得用於戰略規劃的商業智慧。資料管理包括在法律和法規範圍內提高資料可用性的所有政策、工具和程序。
為什麼資料管理很重要？
資料被認為是現代組織的寶貴資源。由於可以存取大量和不同的資料類型，組織會在資料儲存和管理基礎設施方面進行大量投資。他們使用資料管理系統更有效率地執行商業智慧和資料分析操作。下面我們將介紹資料管理的一些好處。
增加收入和利潤
資料分析可以更深入地了解業務的各個方面。您可以採取相應行動，以優化業務操作並降低成本。資料分析還可以預測決策的未來影響，改善決策制定和業務規劃。因此，組織透過改進其資料管理技術可獲得顯著的收入增長和利潤。
減少資料不一致性
資料孤島是組織內只有一個部門或群組可以存取的原始資料集合。資料孤島會產生不一致性，從而降低資料分析結果的可靠性。資料管理解決方案可整合資料並建立集中式資料檢視，從而改善部門之間的協作。
符合法律合規要求
一般資料保護規範 (GDPR) 和加州消費者隱私保護法 (CCPA) 等法律使消費者可以控制其資料。如果個人認為組織有以下行為，可以尋求法律援助：
- 未經同意即擷取資料
- 對資料位置和使用控制不當
- 儘管有刪除請求，但仍儲存資料
因此，組織需要一個公平、透明和機密的資料管理系統，同時仍需要保持準確性。
資料管理的重點領域有哪些？
除了資料管控外，資料管理的做法還涵蓋高品質資料的收集和分發，以控制資料的存取。
資料品質管理
資料的使用者希望資料在每個使用案例中具有足夠的可靠性和一致性。
資料品質管理者可衡量並改善組織的資料品質。他們會檢閱現有資料和新資料，並確認其符合標準。他們也可能會設定資料管理程序，以阻止低品質資料進入系統。資料品質標準通常衡量以下內容：
- 關鍵資訊是否遺失或資料是否完整？(例如，客戶遺漏了主要聯絡資訊)
- 資料是否符合基本的資料檢查規則？(例如，電話號碼應為 10 位數字)
- 相同資料多久出現在系統中？(例如，同一客戶的重複資料項)
- 資料是否準確？(例如，客戶輸入錯誤的電子郵件地址)
- 整個系統的資料品質是否一致？(例如，出生日期在一個資料集中為 dd/mm/yyyy 格式，但在另一個資料集中為 mm/dd/yyyy 格式)
資料分佈和一致性
資料分佈的端點
對於大多數組織而言，資料必須分佈到 (或附近) 需要該資料的各個端點。其中包括作業系統、資料湖和資料倉儲。由於網路延遲，資料分佈是必要的。當操作使用需要資料時，網路延遲可能不足以及時傳送資料。將資料副本儲存在本機資料庫中，可解決網路延遲問題。
資料分佈對於資料合併也是必要的。資料倉儲和資料湖可合併來自各種來源的資料，以呈現合併後的資訊。資料倉儲用於分析和決策，而資料湖則是一個綜合中樞，可從中擷取資料用於各種使用案例。
資料複寫機制及對一致性的影響
資料分佈機制對資料一致性有潛在影響，這是資料管理中的一個重要考量。
同步複寫資料帶來強大的一致性。在這種方法中，當資料值發生變更時，所有應用程式和使用者都會看到變更後的資料值。如果尚未複寫新的資料值，則會阻止資料的存取，直到所有副本都更新為止。同步複寫使一致性優先於效能和資料存取。同步複寫最常用於財務資料。
非同步資料複寫產生的最終一致性。資料變更時，最終會更新副本 (通常在幾秒鐘內)，但不會阻止對過期副本的存取。對於許多使用案例，這不是問題。例如，社交媒體帖子、喜歡和評論不需要強大的一致性。另一個範例是，如果客戶在一個應用程式中變更其電話號碼，則此變更可以非同步串聯。
比較串流與批次更新
資料串流會在資料變更時進行串聯。如果需要存取近乎即時的資料，這是首選方法。資料變更後，就會擷取、轉換並傳送至其目的地。
如果必須在交付之前分批處理資料，則批次更新更適合。總結或執行資料的統計分析並僅提供結果就是這樣一個範例。如果在特定時間點擷取所有資料，則批次更新也可以保留資料的時間點內部一致性。透過擷取、轉換、載入 (ETL 或 ELT) 程序進行批次更新通常用於資料湖、資料倉儲和分析。
大數據管理
大數據是組織在短時間內高速收集的大量資料。社交媒體上的視訊新聞源和來自智慧感應器的資料串流都是大數據的範例。操作的規模和複雜性給大數據管理帶來了挑戰。例如，大數據系統儲存如下資料：
- 以表格格式很好呈現的結構式資料
- 非結構式資料，例如文件、影像和影片
- 結合前兩種類型的半結構式資料
大數據管理工具必須處理和準備資料以進行分析。大數據所需的工具和技術通常執行以下功能：資料整合、資料儲存以及資料分析。
資料架構與資料建模
資料架構
資料架構描述組織的資料資產，並提供建立和管理資料流程的藍圖。資料管理計畫包含最適合實作資料管理策略的技術詳細資訊，例如操作資料庫、資料湖、資料倉儲和伺服器。
資料建模
資料建模是建立概念和邏輯資料模型的過程，以視覺化方式呈現不同類型資料之間的工作流程和關係。資料建模通常從概念上表示資料開始，然後在所選技術的相關內容中再次呈現。資料管理者在資料設計階段，建立若干不同類型的資料模型。
資料管控
資料管控包括組織為管理資料安全性、完整性和負責任的資料公用程式而實作的政策和程序。它定義資料管理策略並確定誰可以存取哪些資料。資料管控政策還確立了團隊和個人存取及使用資料時的責任。資料管控功能通常包括：
法律合規
資料管控政策可降低監管罰款或行動的風險。他們將重點放在員工培訓上，以確保各級員工遵守法律。例如，組織與外部開發團隊合作以改善其資料系統。在將所有個人資料傳送給外部團隊以用於測試目的之前，資料管控管理者會確認是否已移除這些資料。
資料安全和存取控制
資料管控可防止未經授權的資料存取，並保護資料免於損毀。它包括所有方面的保護，如下所示：
- 防止意外移動或刪除資料
- 保護網路存取以降低網路攻擊的風險
- 確認儲存資料的實體資料中心符合安全要求
- 即使員工從個人裝置存取資料，也能確保資料安全
- 使用者驗證、授權，以及資料存取許可的設定與執行
- 確保儲存的資料符合儲存資料所在國家/地區的法律
有哪些資料管理挑戰？
以下是常見的資料管理挑戰。
規模和效能
組織需要可大規模高效執行的資料管理軟體。他們必須持續監控並重新設定資料管理基礎架構，以維持高峰期間的回應時間，即使資料呈指數級成長。
變更需求
合規性法規非常複雜，而且會隨著時間而變化。同樣，客戶需求和業務需求也會迅速變化。雖然組織在可使用的資料管理平台上有更多選擇，但他們必須持續評估基礎架構決策，以維持最大的 IT 靈活性、法律合規性並降低成本。
員工培訓
在任何組織中開始資料管理程序都具有挑戰性。龐大的資料量勢不可擋，而且部門間還可能存在孤島。規劃新的資料管理策略，並讓員工接受新的系統和程序需要花費時間和精力。
有哪些資料管理最佳實務？
資料管理最佳實務是成功資料策略的基礎。以下是常見的最佳實務。
團隊合作
企業使用者和技術團隊必須協同合作，以確保滿足組織的資料需求。所有資料處理和分析應優先考慮商業智慧需求。否則，收集的資料將保持未使用狀態，資源將浪費在規劃不當的資料管理專案中。
自動化
成功的資料管理策略將自動化整合到了大多數資料處理和準備任務中。手動執行資料轉換任務非常繁瑣，而且還會在系統中產生錯誤。即使手動任務有限 (例如執行每週的批次作業) 也可能造成系統瓶頸。資料管理軟體可以支援更快且更有效率的擴展。
雲端運算
企業需要可提供廣泛功能的現代化資料管理解決方案。雲端解決方案可以大規模管理資料管理的所有方面，而不會影響效能。例如，AWS 可在單一帳戶內提供各種功能，例如資料庫、資料湖、分析、資料可存取性、資料管控和安全性。
