一次了解遷移資料倉儲時,企業面臨的挑戰及對策

圖片來源:Google Cloud Platform

我們經常聽到客戶認為,遷移資料是一場艱苦的戰鬥,其實是因為事先沒有周全的遷移策略。

從傳統的環境遷移到現代化的資料倉儲,前期可能需要大量地投資時間與資源。在這個過程之前和過程中,需要考慮很多事情,所以企業必須採取戰略性的方法來簡化過程。CloudMile 協助企業將資料轉移到 BigQuery 資料倉儲,並已幫助眾多產業的公司成功地遷移上雲。以下是我們在將資料倉儲遷移到雲端時,常聽到的一些疑問:

  • 如何將任何的遷移風險或資安挑戰降到最低?
  • 遷移需要花多少錢?
  • 如何將資料遷移到目標資料倉儲?
  • 我們多久才能看到與遷移前相同或更好的成效?

當你開始遷移的時候,這些都是你需要問且回答的重要問題,讓我們把它們按照順序整理一下。

如何將任何的遷移風險或資安挑戰降到最低?

考慮本地資料倉儲的安全性很容易,因為它在您的資料中心或稱為地端,您可以自行管理它的資料保護、加密機制。但是,如果擴充一個本地的資料倉儲是困難的,那麼隨著業務的擴展,保護它的資料安全也是困難的。

我們設置多種功能來保護 BigQuery。對於企業用戶,管理適當且基於角色的用戶訪問資料時,Cloud Identity 和 Access Management(Cloud IAM)是關鍵的設定,您還可以利用 BigQuery 中的 SQL 安全視圖,而且所有 BigQuery 資料在落地靜止和傳輸過程中都會進行加密。您可以增加對客戶管理的加密金鑰的保護,以建立更强大的安全措施。使用虛擬私人雲端(VPC)安全控制可以保護您的遷移路徑,因為它有助於降低資料竊取的風險。

遷移需要花多少錢?

雲端資料倉儲的成本與傳統資料倉儲的成本結構不同,像 Teradata 這樣的本地系統,可能取決於您的 IT 團隊每三年支付一次的硬體費用,以及為需要存取該系統的用戶支付許可證費用。在硬體預算之外,新增容量則是額外的成本。

有了雲端服務,您在成本和規模上有了更多的選擇。現在,您正在使用價格效用梯度,而不是一組固定的成本,如果您想從資料倉儲中獲得更多洞見,投入更多費用後即可立即查詢,反之亦然。雖然雲端資料倉儲有助於减少或免去首次投入的資金和固定成本,但它們並不完全相同。您會發現各個供應商之間的簡化程度和成本節省的程度不同,因此,檢查每個資料倉儲的操作成本與效能相關的營運成本非常重要。

如何將資料遷移到目標資料倉儲?

這個問題包括將擷取、轉換、加載(ETL)工作和 SAS/BI 應用程序工作負載遷移到目標資料倉儲,以及遷移所有查詢、存儲過程和其他擷取、加載、轉換(ELT)工作。

實際上,在遷移過程的一開始,將公司的所有資料都放上雲端可能會令人畏懼。我們知道,大多數企業都有很多資料孤島(soloed data),這可能是因為多年來不同團隊建立的多個資料湖泊(data lakes),或者是通過收購獲得、只處理一個或兩個關鍵應用程序的系統。您可能正在將資料從本地或雲端資料倉儲移動到 BigQuery,並輸入不匹配的類型系統。

為了成功遷移,準備的一個重要步驟是做一些工作負載和案例調查。這可能涉及稽核當前存在的案例,以及這些案例是否屬於更大工作負載的一部分,還有確定每個案例所支持的資料集表格架構。案例將因行業和工作角色而異。例如,零售定價分析師可能希望分析過去的產品價格變化,以計算未來的定價。案例可能包括從交易資料庫提取資料、將資料轉換為每個產品的單一時間序列、將結果存儲在資料倉儲表格中等等。

在準備和發現階段之後,您應該評估傳統環境的當前狀態再計畫遷移,這包括對案例進行分類和排列優先順序,稽核資料以決定哪些內容將被移動、哪些不會,以及評估整個組織的資料格式以確定需要轉換或重寫的內容。一旦决定,選擇你的提取和管道方法。所有這些任務都需要技術和人員去管理,並且需要組織就遷移完成後的成功情况,達成共識。

我們多久才能看到與遷移前相同或更好的成效?

管理傳統資料倉儲通常不是速度的同義詞。效能通常是以容量為代價的,因此在其他查詢運作完成之前,用戶無法進行所需的分析。報表和其他分析功能可能需要花費數小時或數天,這對於運算包含大量資料的大型報表(例如一季銷售的結算)尤其如此。隨著資料量和用戶數量的快速成長,效能可能開始降低,組織也經常面臨破壞性的中斷。

然而,使用像 BigQuery 的現代化雲端資料倉儲服務,計算和存儲是分開的,因此您可以立即擴充,而不必面對基礎架構的約束。BigQuery 幫助您實現現代化,因為它使用熟悉的 SQL 介面,因此用戶可以在幾秒鐘內完成查詢並馬上分享有意義的洞察。例如 Home Depot 的案例:客戶遷移他們倉儲空間後,將8小時的工作量减少到5分鐘。

遷移到雲端上可能會讓人因為覺得繁雜而感到畏懼,尤其是在遷移一個根深蒂固的傳統系統時,但帶來的好處是採用了讓業績成長的技術,而不是簡單地採用某一種工具。您可能已經發現有相關的業務需求,是時候進一步行動、騰出成長空間了。

10/30 (三) 14:00-17:00,CloudMile 將舉辦一場 Data Warehouse Migration Seminar,將有 Solution Architect 等專家為您解說現代化資料倉儲的優勢及解決方案,更多活動資訊請至下方活動報名頁面。

About CloudMile

CloudMile為亞洲領先的人工智慧與雲端服務供應商,並以實踐AI成為企業成長動能為己任。團隊利用機器學習及大數據分析,協助企業進行商業預測及產業升級。CloudMile擁有超過70張專業技術認證,其中有超過40張Google Cloud 專業認證,也是Google Cloud北亞地區第一家擁有機器學習及基礎架構認證的核心策略合作夥伴。

Website: https://www.mile.cloud/
Facebook: https://www.facebook.com/CloudMileFans/
Linkedin: https://www.linkedin.com/company/cloudmile/
Youtube: https://www.youtube.com/c/CloudMile
Contact Us: [email protected]