シニアデータ開発エンジニア（リモート、ポーランド）
InPost Group にシニアデータ開発エンジニアとして加わり、欧州の荷物ネットワークを支える信頼性の高いデータプラットフォームを担当します。 ETL/ELT パイプライン、Databricks のデータレイヤー、品質管理を構築・最適化し、分析と自動化を支援します。
仕事内容
- SQL、PySpark、Python を使用して ETL/ELT ワークフローを構築・保守し、複数のソースシステムからデータを統合します。
- テーブル、ビュー、分析データモデルを含む Databricks、Data Lake、Delta Lake のデータレイヤーを作成します。
- データ取り込みおよび変換ワークフローを自動化・調整します。
- 検証、監視、アラート、インシデント調査を通じて、データの正確性と信頼性を維持します。
- SQL クエリ、Spark ワークロード、ストレージ設計を改善し、性能、拡張性、安定性、コスト効率を高めます。
- アナリスト、プロダクトオーナー、その他の関係者に信頼できる本番対応データを提供します。
- データプロセス、モデル、KPI 定義、依存関係、データリネージ、インシデント手順に関する Confluence ドキュメントを維持します。
- AI ツールを活用して提供を加速しつつ、デプロイ前に生成されたコード、設定、ドキュメントを確認します。
応募要件
- データエンジニアリング、アナリティクスエンジニアリング、またはデータ分析の実務経験が2年以上あること。
- ETL/ELT ワークフローの設計、および分析データモデルやデータレイヤーの開発経験。
- 監視、トラブルシューティング、データ品質保証を含む、本番データプロセスの保守経験。
- クラウドプラットフォーム、特に Microsoft Azure の経験。
- SQL、Python、PySpark、Databricks の実務能力。
- Data Lake と Delta Lake のアーキテクチャ、およびデータモデリングの原則に関する理解。
- 開発、テスト、本番環境における Git と Azure DevOps の実務経験。
- ビジネスニーズを効果的な技術ソリューションに変換する能力。
- 国際的な環境で働くための高度な英語コミュニケーション能力。
- 分析的・論理的で、細部に注意を払い、主体的に行動し、時間的プレッシャー下で優先順位を付けられること。
- 複雑な業務環境での勤務経験があれば尚可。
- スタースキーマ、ファクトテーブルとディメンションテーブル、データ粒度、レポートや分析のための正規化・非正規化を含むディメンショナルモデリングの知識があれば尚可。
- Databricks と Delta Lake の高度な機能に関する知識があれば尚可。
- Kafka、Structured Streaming、または Event Hubs の経験があれば尚可。
- 監視・アラートツールに精通していれば尚可。
- データセキュリティ、アクセス制御、メタデータ管理、データリネージの原則に関する知識があれば尚可。
- Jira と Confluence の経験、または関連する Microsoft Fabric と Databricks の認定資格があれば尚可。
- データエンジニアリング、アナリティクスエンジニアリング、またはデータ分析の実務経験が2年以上あること。ETL/ELT ワークフローの設計、および分析データモデルやデータレイヤーの開発経験。
福利厚生
- 戦略的なビジネス意思決定を直接支援するデータプロダクトを担当します。
- 多様な国際的・部門横断チームで、経験豊富な専門家と協働します。
- AI ツールを含む新しい技術を試し、有用なイノベーションを本番環境へ導入します。
- 自分の仕事がもたらす直接的かつ即時の効果を実感できます。
- B2B の協業形態。
