遠端大數據基礎架構工程師
負責國際化平台的大數據基礎架構,涵蓋 HDFS、物件儲存與 Iceberg。 規劃平台架構、配額、目錄、監控及營運可靠性。
說明
- 負責國際化平台的大數據基礎架構,並擔任技術負責人。
- 部署、升級及營運 HDFS、相容 S3 的 Apache Ozone 儲存與 Iceberg 等核心服務。
- 支援一項試行專案,將少數超大型資料集轉換為數千個小型資料表。
- 為各業務單位設定運算與儲存配額。
- 將預設的 Iceberg 目錄遷移至功能更完善的選項,例如 Lakekeeper 或 Gravitino。
- 重新設計監控與警示,讓通知更具可執行性。
- 與在平行環境中營運相同技術堆疊的工程師密切合作,共享解決方案並相互支援。
- 參與架構決策,並以目前的平台版本取代過時工具。
職位要求
- 至少五年設計、部署及營運大數據平台的經驗。
- 具備部署、升級及排查 HDFS 或 Hadoop 問題的實務經驗。
- 具備部署及營運相容 S3 物件儲存的實務經驗;以 Apache Ozone 為佳,也接受 MinIO 或類似工具。
- 具備 Apache Iceberg 相關經驗。
- 具備為資料基礎架構建置監控與警示的經驗。
- 英語程度達 B2。
- 可配合 GMT+3 時區工作,時差在三小時以內。
- 優先條件:具備 Trino、Kafka 或 Flink 相關經驗。
- 優先條件:具備導入 Iceberg REST 目錄的經驗,例如 Lakekeeper、Gravitino、Polaris 或類似方案。
- 優先條件:具備為多租戶資料平台實施資源配額與成本分攤的經驗。
- 優先條件:曾實際使用 Copilot 或代理程式等 AI 工具提升工作效率。
福利待遇
- 工時彈性,並可選擇遠端工作。
- 積極互助、重視協作與共同成長的團隊。
- 完善的新人訓練、個人發展計畫,以及定期舉辦的團隊講座與示範。
- 提供新人訓練、技能培訓、軟實力發展及領導力成長的內部計畫。
- 部分補助外部培訓及參與研討會的費用。
- 提供企業英語課程,包括團體課、一對一課程,以及與全球同事參加的會話俱樂部。
- 酒店與旅遊服務的企業優惠價格。
- MyTime Day Off:額外一天帶薪休假。
