軟體工程師、資料工程師、資料科學家,三者有什麼不同

參考:Data Scientists, Data Engineers, Software Engineers: The Difference According to LinkedIn - Ryan Swanstrom

data-science-engineer-software (1)

隨著數據的增長,管理數據所需的專業知識也在增長。在過去的幾年中,管理數據的關鍵角色(軟體工程師,資料工程師和資料科學家)之間的區別越來越大。

軟體工程師

軟體工程師構建應用程序和系統。開發人員將參與該過程的所有階段,從設計到編寫代碼,再到測試和審查。他們正在創建創建數據的產品。軟體工程是這三個角色中最古老的,並且已經建立了方法論和工具集。

工作包括:

  • 前端和後端開發
  • 網絡應用
  • 行動應用程式
  • 操作系統開發
  • 軟體設計

資料工程師

資料工程師構建的系統可以合併,存儲和檢索軟體工程師創建的各種應用程序和系統中的數據。資料工程已成為軟體工程中的一種特殊技能。以前,所有資料工程師中有40%曾經是軟體工程師,這是迄今為止資料工程師最常見的職業道路。

工作包括:

  • 先進的資料結構
  • 分佈式計算
  • 並發編程
  • 對新興工具的知識:Hadoop,Spark,Kafka,Hive等
  • 建立ETL /數據管道

資料科學家

資料科學家在數據之上進行分析。對於團隊來說,這可能是一種一次性分析,試圖更好地了解客戶行為,或者是一種機器學習算法,然後由軟體工程師和資料工程師將其實施到代碼庫中。

工作包括:

  • 資料建模
  • 機器學習
  • 演算法
  • 商業智能儀表板