Sigma Software Groupは、2002年に設立された多国籍のテクノロジーコンサルティング企業です。同社のチームは、自動車、ヘルスケア、通信、航空、銀行、ゲーム、不動産、広告などの分野の顧客に、ソフトウェア開発、グラフィックデザイン、テスト、テクニカルサポートを提供しています。ITスペシャリストを採用し、複雑なエンジニアリングプロジェクトに携わる機会を提供するとともに、メンタリングや継続的な学習を通じて専門能力の向上を支援しています。リモートワークは同社の働き方の一部であり、アストラゼネカ、スカニア、SASなどの組織向けのプロジェクトに取り組んでいます。
シニアデータエンジニア、Databricks移行
企業の小売分析基盤を BigQuery から Databricks Lakehouse へ移行し、拡張性の高い PySpark パイプライン、メダリオンアーキテクチャ、ガバナンスを備えたクラウドデータ基盤を構築します。
仕事内容
- 大規模な分析プラットフォームの BigQuery から Databricks への移行を支援します。
- Databricks と Delta Lake を使用して、拡張性の高い Lakehouse アーキテクチャを設計、構築します。
- 既存の ETL および ELT ワークロードを評価し、移行方法を策定します。
- 大量の小売データや分析データを扱うパイプラインを構築、最適化します。
- 増分処理戦略と拡張性の高い変換フレームワークを実装します。
- PySpark を使用した Spark データ処理ソリューションを開発、保守します。
- Bronze、Silver、Gold のメダリオンレイヤーを設計、保守します。
- Unity Catalog を使用してデータガバナンスとセキュリティの実践を適用します。
- データサイエンス、分析、プロダクト、カスタマーエンジニアリングの各チームと連携します。
- アーキテクチャに関する議論や技術ソリューションの設計に貢献します。
- 再利用可能なデータプラットフォームのコンポーネントとエンジニアリング標準を作成します。
- コードをレビューし、プラットフォームの信頼性と保守性を高めます。
- 複雑な SQL および Spark ワークロードのトラブルシューティングと最適化を行います。
- 本番環境へのデプロイとプラットフォームのモダナイゼーションを支援します。
応募要件
- データエンジニアとして5年以上の実務経験があること。
- 高い Python プログラミングスキルと高度な SQL の能力があること。
- Databricks の商用環境での実務経験があること。
- Apache Spark、特に PySpark に精通していること。
- 最新のクラウドデータプラットフォームの設計、構築経験があること。
- ETL および ELT パイプラインと大規模データ処理ソリューションの開発経験があること。
- Delta Lake の実務経験があること。
- Spark Declarative Pipelines の使用経験があること。
- クラスターの監視、メトリクスの分析、パフォーマンス最適化の経験があること。
- 分散データ処理アーキテクチャを理解していること。
- データウェアハウスの概念とディメンショナルモデリングを理解していること。
- Airflow または同等のオーケストレーションツールの使用経験があること。
- 複雑な分析 SQL ワークロードの最適化経験があること。
- データエンジニアリングプラットフォームへの CI/CD の適用経験があること。
- トラブルシューティングとパフォーマンス最適化のスキルがあること。
- 国際的な部門横断チームと効果的に協働できること。
- 中上級以上の英語力があること。
福利厚生
- 従業員はリモートワークを利用できます。
- 継続的に学べる機会があります。
- 技術とともに成長できる機会があります。
- エンジニアリングの仕事を通じて意義ある影響を生み出せます。
- 複雑な国際プロジェクトに携われます。
