隨著數據的增長,管理數據所需的專業知識也在增長。在過去的幾年中,管理數據的關鍵角色(軟體工程師,資料工程師和資料科學家)之間的區別越來越大。
軟體工程師
軟體工程師構建應用程序和系統。開發人員將參與該過程的所有階段,從設計到編寫代碼,再到測試和審查。他們正在創建創建數據的產品。軟體工程是這三個角色中最古老的,並且已經建立了方法論和工具集。
工作包括:
- 前端和後端開發
- 網絡應用
- 行動應用程式
- 操作系統開發
- 軟體設計
資料工程師
資料工程師構建的系統可以合併,存儲和檢索軟體工程師創建的各種應用程序和系統中的數據。資料工程已成為軟體工程中的一種特殊技能。以前,所有資料工程師中有40%曾經是軟體工程師,這是迄今為止資料工程師最常見的職業道路。
工作包括:
- 先進的資料結構
- 分佈式計算
- 並發編程
- 對新興工具的知識:Hadoop,Spark,Kafka,Hive等
- 建立ETL /數據管道
資料科學家
資料科學家在數據之上進行分析。對於團隊來說,這可能是一種一次性分析,試圖更好地了解客戶行為,或者是一種機器學習算法,然後由軟體工程師和資料工程師將其實施到代碼庫中。
工作包括:
- 資料建模
- 機器學習
- 演算法
- 商業智能儀表板