學習筆記:Cloud OnBoard 2018 Taipei

文/Dennis|編輯/Jessie

學習筆記:Cloud OnBoard 2018 Taipei

文/Dennis|編輯/Jessie

今年 Google 再次在臺灣舉辦大型 Google Cloud Platform (GCP) 訓練課程  Google Cloud OnBoard,課程主軸是大數據、機器學習,以及新推出的 Cloud Auto ML ,現場還有一系列的範例操作。

此篇課堂筆記主要整理了各項 GCP 產品特色,帶領大家初步認識 Google 在數據分析與機器學習的強大功能。

圖說: Google Cloud亞太區技術講師 Eefy Lin

本次課程的講師是 Eefy Lin,專業領域為雲端技術與軟體工程,曾任亞馬遜與精誠資訊的軟體工程師。現職 Google Cloud  亞太區技術講師已有將近一年的經歷,講課風格口條清晰、輕鬆幽默。更棒的是,現場還安排應用範例操作。將原本抽象的功能介紹在與實際功能搭配以後,讓參與者對各項 GCP 產品優勢更為印象深刻。

產品特色

  • Spend Less

    這是GCP最大的優勢之一。計費方式取決於使用量,且費用計算精細到秒,故短時間使用時,可減少不必要的浪費;針對長時間使用的客戶亦提供長期使用折扣 (Sustained Use Discounts),最多可獲得七折優惠!若是需要更大的使用量,則可以申請承諾使用折扣 (Committed Use Discounts),以更優惠的價格來支付承諾的使用量,且不需要任何的預付費用。

  • No-Ops

    只需要透過瀏覽器進入 GCP Console,就可以建立虛擬機器叢集、建立資料庫或進行機器學習模型訓練等,簡單地操作 GCP 資源。

  • Google’s Private Fiber Network

    有了 Google 專用的全球骨幹網路支持,便可以連結世界各地資料中心,並運用超大的頻寬與更低的延遲。且由於臺灣就設有資料中心,我們得以就近使用各種 GCP 服務。

  • Secure

    整合 Google Account、Google Group、G Suite Domain、Cloud Identity Domain 等以往常用的認證方式,並提供 IAM  (Google Cloud Identity and Access Management) 服務,透過網站介面直接進行使用者、角色與權限管理。

  • Google Compute Engine (GCE):雲上的虛擬機器 (VM)
    • 除了基本提供的機器類型外,可以直接調整 vCPU 數與記憶體大小,釋放大量的運算資源來應付突發需求
    • 使用延伸記憶體功能,來應付大量記憶體需求
    • 搶占式 (preemptible) 虛擬機器:要處理容錯力高、不須隨時運算的批次任務,就可應用搶占式虛擬機器來節省花費
  • Google Cloud Shell: 免費的網頁終端機
    • 暫時建立的專屬虛擬機器,提供 5 GB 的儲存空間
    • 內建Google Cloud SDK,可透過指令操作各種GCP資源
    • 內建 Java、Python、Go等語言套件,且提供遠端程式編輯程式與瀏覽器預覽功能,方便直接編寫程式
  • Google App Engine (GAE)
    • Serverless 全方位管理服務
    • 專注於程式開發,支援 js、Java、Ruby、C#、Go、Python 和 PHP
    • 自動擴充與縮減運算實例,且可縮減至0個實例,節整花費
    • Flexible Environment下,可使用 Docker image 或 Dockerfile 進行客製化
  • Google Kubernetes Engine (GKE)
    • 容器叢集全方位管理服務;GCP上執行 Docker 容器叢集
    • 自動擴充與縮減節點,同時自動檢查並修復節點健康狀態

資料儲存

圖說: Google Cloud 儲存工具簡要介紹

  • Google Cloud Storage (GCS)

    類似網站儲存空間,建立 Bucket,儲存檔案;Public Link 功能啟用後,可以直接以網址存取 Bucket 內的資料。不同的儲存類型 (Storage Class):

    • Multi-Region:於各Region建立副本,提升可靠性,且依地點存取最近的副本,降低延遲時間
    • Region:保存高頻率存取的資料時使用
    • Nearline:保存較低頻率存取的資料時使用,約一個月讀取一次
    • Coldline:保存超低頻率存取的資料時使用,約一年讀取一次
  • Google Cloud SQL
    • 全方位管理的關聯式資料庫,包含MySQL、PostgreSQL可供選擇
    • 自動建立 replication 與備份,獲得高可用度 (highly available) 的資料庫
  • Google Cloud Spanner
    • 分佈全球的關聯式資料庫
    • 具高一致性、高可用度,且可水平擴充
  • Google Datastore
    • 全方位管理的 NoSQL 資料庫
    • 具高一致性、高可用度,且無接縫自動擴充
  • Google Cloud Bigtable
    • 全方位管理的高效率的 NoSQL 資料庫
    • 低延遲、高輸出、高可用度,且無接縫自動擴充,適用於互聯網、使用者行為分析等即時大量資料存取

如何選擇資料儲存服務:

圖說: 選擇GCP服務流程圖

數據分析

  • Google BigQuery
    • 全方位管理的企業資料倉儲,專注於資料分析作業
    • 支援串流資料寫入,以最即時的資料進行分析
    • 支援標準 SQL 查詢,直覺且快速地獲得分析結果
    • 提供每個月免費 1TB 資料分析與 10GB 資料儲存
  • Google Cloud Datalab
    • 資料視覺、資料探索的簡易互動式工具
    • 支援 Python、SQL 和 JavaScript,即時執行產生最新的資料分析圖表
    • 高度整合其他雲端服務,在 Google BigQuery、Cloud Machine Learning Engine、Google Compute Engine 和 Google Cloud Storage 中分析資料

機器學習

  • Google ML Engine

    TensorFlow 模型訓練的代管服務

    • 整合 Cloud Dataflow 可使用來自 Google Cloud Storage、Google BigQuery 和其他來源的資料
    • HyperTune 自動調整 Hyperparameter,以更快速建構模型,改善預測準確性
    • 使用 TPU 加速模型訓練
  • Google ML API

    Google 預先訓練好的機器學習服務

  • Google Cloud AutoML (Alpha)
    • 使用遷移學習(Transfer learning)與神經架構搜尋技術(Neural Architecture Search technology),沒有機器學習專業的人也能自行訓練機器學習模型
    • 首先推出 Cloud AutoML Vision,輕鬆訓練自訂視覺模型

資料處理

  • Google Cloud Pub/Sub
    • 全域的訊息佇列服務
    • 可靠的、即時的擷取串流資料
    • 整合 Cloud Dataflow 處理擷取的串流資料
  • Google Cloud Dataflow
    • 使用 Apache Beam,簡化串流作業和批次資料處理
    • 前端可整合 Cloud Pub/Sub Cloud Datastore 擷取資料,再透過 Cloud Dataflow 進行資料清洗處理
    • 後端整合 BigQuery Machine Learning 進行資料分析
  • Google Cloud Dataproc
    • Apache SparkApache Hadoop 的全方位管理服務
    • 因應資料處理量快速調整叢集大小,節省花費

其他資料

開始使用

首先需要有一個 Google 帳號與一張信用卡,然後到 Google Cloud Platform 申請免費試用,就能獲得 300 美元額度,可試用 12 個月,詳細開通步驟請參考下方影片

教學練習

專業認證

針對 GCP 雲端技術,Google 提供了數種專業認證機會,而在大數據與機器學習方面,歡迎大家考取 Professional Data Engineer 專業證照。

相關連結

CloudMile

CloudMile 成立於 2016 年,致力於 B2B 雲端與人工智慧應用,為客戶建立國際級雲端架構,並以機器學習及大數據分析技術為核心,協助企業進行商業預測與產業升級。

Website: https://www.mile.cloud/
Facebook: https://www.facebook.com/CloudMileFans/
Linkedin: https://www.linkedin.com/company/cloudmile/
Youtube: https://www.youtube.com/c/CloudMile
Contact Us: service@mile.cloud