データエンジニア、Databricks・PySpark
AXON NetworksのAI駆動型通信オーケストレーションプラットフォーム向けに、Databricks、PySpark、SQLのパイプラインを構築・運用します。 データレイクハウスのデータセットの追跡可能性、テスト、実運用への対応を支援します。勤務地はマドリードです。
仕事内容
- Databricks、PySpark、SQLを使用して、拡張性の高いデータ取り込み・変換パイプラインを開発します。
- データの取り込みと処理に使用するDatabricks JobsおよびWorkflowsを作成・保守します。
- レイクハウスのデータセットを構築し、スキーマ変更とデータ契約を管理するとともに、上流ソースまで追跡できる状態を維持します。
- データ品質と鮮度を維持し、下流の利用者が所定の処理時間内に信頼できるデータセットを受け取れるようにします。
- データパイプラインの自動単体テスト、統合テスト、回帰テストを作成・保守します。
- QA環境と本番環境のパイプラインの問題を調査し、根本原因を特定して修正します。
- Sparkジョブとデータ変換を最適化し、性能と効率を高めます。
- 開発、品質保証、DevOps、プロダクトマネジメント、デリバリーの各チームと連携し、ソフトウェアライフサイクル全体に携わります。
- 本番プラットフォーム上で大規模な通信データを直接扱います。
応募要件
- コンピューターサイエンスまたは関連分野の学士号または修士号。
- データエンジニアリングまたは類似職種で2年以上の実務経験。
- Python、PySpark、SQLの実務経験。
- データモデリングとレイクハウスの概念に関する理解。
- 自動テストとGitベースの開発ワークフローに関する知識。
- データ処理の問題のトラブルシューティングを含む、高い分析力と問題解決力。
- 英語とスペイン語に堪能であること。
- マドリードでハイブリッド勤務が可能であること。
- Apache SparkとDatabricksを用いたETLまたはELTパイプライン構築の経験。
- Delta Lake、Medallion Architecture、スキーマ進化、またはデータ契約の経験。
- Databricks JobsまたはWorkflows、およびワークロード最適化の経験。
- 大規模データセットまたは通信データセットを扱った経験。
- 審査対象となるには、応募書類を英語で提出する必要があります。
福利厚生
- 競争力のある給与とインセンティブ制度。
- 柔軟な勤務時間とリモートワーク。
- 無料駐車場またはPluxee交通パス。
- Pluxeeの食事パス。
- 家族全員を対象とする民間医療保険。
- 国際的な環境で働く機会。
- 誕生日の有給休暇。
