
資深工程經理,Spark 執行階段工程
領導 Snowflake 的 Spark 編譯器與執行階段團隊,制定技術方向並指導架構、效能與可靠性工作。打造實力堅強的工程團隊,持續提升 Spark 工作負載的正式環境能力。
說明
- 帶領 5–8 位工程師,為 Snowflake 上的 Spark 工作負載開發正式環境所需的編譯器與執行階段能力。
- 制定 Spark 查詢編譯與執行階段整合的技術方向。
- 指導架構設計、審查關鍵設計與程式碼,並調查複雜的正確性、效能與可靠性問題。
- 透過效能分析、加快編譯、改善中繼資料存取,以及與查詢引擎團隊合作,提升工作負載效能與成本效益。
- 建立正確性與相容性實務,包括與 Apache Spark 的差異測試、迴歸測試涵蓋範圍,以及管理不支援的行為。
- 負責正式環境品質,涵蓋可觀測性、事件應變、故障復原與安全部署。
- 招募、指導並培育工程師;提供回饋、管理績效並支持職涯發展。
- 與資深技術領導者及產品管理團隊合作,排定投資優先順序、協調相依事項並推進路線圖。
- 使用具代表性的客戶工作負載測試變更,並追蹤相容性、延遲、可靠性與成本效益。
職位要求
- 至少 2 年直接工程管理經驗,並有培育工程師及交付正式環境系統的實績。
- 至少 5 年軟體工程實務經驗,其中包含大量編譯器、查詢處理系統或執行階段基礎架構相關工作。
- 在相關領域具備深厚專業知識,例如編譯器架構與中介表示轉換、關聯式查詢處理、語言語意與型別系統,或執行階段整合。
- 精通 Scala、Java、C++ 或類似實作語言,能審查正式環境程式碼並引導技術決策。
- 具備扎實的系統基礎知識,包括並行處理、記憶體行為與效能分析,並有偵錯複雜正式環境問題的經驗。
- 能將技術與客戶需求轉化為工程優先事項,並有效跨團隊、跨地點合作。
- 優先條件:具備 Apache Spark 內部機制、Catalyst、Spark Connect 或 DataFrame API 經驗。
- 優先條件:具備關聯代數、SQL 產生、查詢最佳化或資料庫執行系統經驗。
- 優先條件:具備 Scala/JVM 效能、原生執行階段函式、中繼資料快取或編譯效能最佳化經驗。
- 優先條件:具備為資料系統建置相容性測試框架、差異測試、效能基準或正式環境可觀測性的經驗。
- 優先條件:具備帶領系統走過客戶採用、正式環境強化及分階段發布的經驗。




