
シニアエンジニアリングマネージャー、Sparkランタイムエンジニアリング
SnowflakeのSparkコンパイラおよびランタイムチームを率い、技術方針を定め、アーキテクチャ、性能、信頼性を導きます。強いエンジニアリング組織を築きながら、Sparkワークロードの本番機能を発展させます。
仕事内容
- 5~8名のエンジニアを率い、Snowflake上のSparkワークロード向けに、本番環境で使えるコンパイラおよびランタイム機能を開発します。
- Sparkクエリのコンパイルとランタイム統合に関する技術方針を定めます。
- アーキテクチャを導き、重要な設計やコードをレビューし、複雑な正確性、性能、信頼性の問題を調査します。
- プロファイリング、コンパイルの高速化、メタデータアクセスの改善、クエリエンジンチームとの連携を通じて、ワークロードの性能とコスト効率を高めます。
- Apache Sparkとの差分テスト、回帰テストの網羅、不サポート動作の管理など、正確性と互換性の実践を確立します。
- 可観測性、インシデント対応、障害復旧、安全な段階的リリースを含む本番品質に責任を持ちます。
- エンジニアを採用、指導、育成し、フィードバックやパフォーマンス管理を行い、キャリア形成を支援します。
- シニア技術リーダーやプロダクトマネジメントと連携し、投資の優先順位付け、依存関係の調整、ロードマップの推進を行います。
- 代表的な顧客ワークロードで変更をテストし、互換性、レイテンシー、信頼性、コスト効率を追跡します。
応募要件
- エンジニアを育成し、本番システムを提供した実績を伴う、2年以上の直接的なエンジニアリングマネジメント経験。
- ソフトウェアエンジニアリングの実務経験5年以上。そのうち相当部分で、コンパイラ、クエリ処理システム、またはランタイム基盤に携わった経験。
- コンパイラアーキテクチャや中間表現変換、関係クエリ処理、言語の意味論と型システム、ランタイム統合など、関連分野の深い専門知識。
- Scala、Java、C++または同等の実装言語に精通し、本番コードのレビューと技術的判断の主導ができること。
- 並行処理、メモリ動作、性能分析などの確かなシステム基礎知識と、複雑な本番環境の問題をデバッグした経験。
- 技術および顧客のニーズをエンジニアリングの優先事項に落とし込み、チームや拠点を越えて効果的に協業できること。
- 歓迎:Apache Sparkの内部構造、Catalyst、Spark Connect、またはDataFrame APIの経験。
- 歓迎:関係代数、SQL生成、クエリ最適化、またはデータベース実行システムの経験。
- 歓迎:Scala/JVMの性能、ネイティブランタイム関数、メタデータキャッシュ、またはコンパイル性能最適化の経験。
- 歓迎:データシステム向けの互換性テストフレームワーク、差分テスト、性能ベンチマーク、または本番環境の可観測性を構築した経験。
- 歓迎:顧客導入、本番運用に向けた強化、段階的リリースを通じてシステムを率いた経験。




