
シニアデータベース分析エンジニア
欧州の公共部門向け技術プロジェクトで、dbt、PySpark、Apache Iceberg のデータパイプラインを構築・最適化します。 勤務地はブリュッセルで、会社または顧客の施設で勤務するハイブリッド勤務です。
仕事内容
- 信頼性と拡張性に優れたデータ変換パイプラインとワークフローを構築する。
- dbt プロジェクトのパフォーマンスを高め、実行時間を短縮する。
- dbt のデータ品質チェックと統制テストを作成し、文書化する。
- パイプライン出力の品質と一貫性を保つため、自動回帰テストと検証を設定する。
- dbt プロジェクトの保守と発展に関するチームの実践知を共有する。
- ビジネス要件と分析文書を、運用可能なデータ変換パイプラインに落とし込む。
- 開発チームおよび主要顧客の IT チームと現地で連携する。
応募要件
- コンピューターサイエンス、情報技術、システムエンジニアリング、または関連分野の大学卒業資格、および関連する IT 実務経験 12 年以上。
- dbt(dbt Core が望ましい)を用いて、本番環境の分析変換プロジェクトを設計、保守、テスト、文書化、拡張した実務経験。
- 分析エンジニアリングと最新のデータモデリングの経験。階層型アーキテクチャ、再利用可能なマクロ、データ品質管理、CI/CD を含む。
- 大規模データ処理向けの PySpark 変換処理を記述した経験。Spark ジョブの最適化経験があれば尚可。
- Apache Iceberg の実務経験。パーティションとスキーマの進化、スナップショット管理、タイムトラベルを含む。
- Dagster などのジョブオーケストレーションおよびスケジューリングツールの使用経験。
- SAS ETL とレガシーコードベースに関する深い知識。SAS ワークフローを dbt に移行した経験があれば大きな強みとなる。
- 複雑な変換、パフォーマンス最適化、増分処理を含む優れた SQL スキル。
- Apache Spark の実行、パーティショニング、ファイルレイアウトの最適化、パフォーマンスチューニングに関する十分な理解。
- レガシーシステムを dbt と PySpark に移行する際のデータ検証、照合、テストに関する深い知識。
- Git、コードレビュー、リリース管理、自動デプロイパイプラインなど、バージョン管理と協調開発に関する知識。
- 英語を十分に使いこなせること。
福利厚生
- 資格と経験に応じた競争力のある報酬。
- 業務委託、または充実した福利厚生を含む報酬パッケージを選択可能。
- 応募プロセスの秘密厳守。
- 国際的で多言語・多文化の職場環境。
- 雇用機会の均等。
関連求人
