
シニアデータベース分析エンジニア
dbt、PySpark、Icebergを活用し、拡張性の高いデータパイプラインを構築します。 分析エンジニアリング、テスト、レガシーSASシステムからの移行を通じて、欧州の機関を支援します。
仕事内容
- 拡張性と信頼性に優れたデータ変換パイプラインとワークフローを構築する
- dbtプロジェクトのパフォーマンスを高め、実行時間を短縮する
- dbtを使用したデータ品質チェックと統制テストを作成し、文書化する
- 自動回帰テストと検証手順を整備する
- dbtプロジェクトの保守と発展に役立つチームの実践知を共有する
- 業務要件や分析文書を、実運用可能なデータ変換パイプラインに落とし込む
- 開発チームおよび主要顧客の現地ITチームと連携する
- 自社または顧客の施設で勤務する
応募要件
- コンピューターサイエンス、情報技術、システムエンジニアリング、または関連分野の大学卒業資格
- 関連するIT業務経験12年以上
- 本番環境の分析変換プロジェクトでdbtを使用した実務経験。dbt Coreの経験が望ましい
- 分析エンジニアリングと最新のデータモデリングの経験。階層型アーキテクチャ、再利用可能なマクロ、データ品質管理、CI/CDを含む
- 大規模データ処理向けのPySpark変換処理を記述した経験
- Apache Icebergの実務知識。パーティションとスキーマの進化、スナップショット管理、タイムトラベルを含む
- Dagsterなどのオーケストレーションおよびスケジューリングツールの経験
- SAS ETLとレガシーコードベースに関する深い知識
- 複雑な変換、パフォーマンスチューニング、増分処理を含む高度なSQLスキル
- Apache Sparkの実行、パーティショニング、ファイルレイアウトの最適化、パフォーマンスチューニングに関する理解
- データ検証、照合、テストに関する高いスキル
- Git、コードレビュー、リリース管理、自動デプロイパイプラインを含む、バージョン管理と共同開発の知識
- 優れた英語力
福利厚生
- 資格と経験に応じた報酬
- 契約形態、または充実した福利厚生を含む報酬体系を選択可能
- 応募内容は秘密厳守で取り扱います
- 均等な雇用機会
- 国際的で多言語・多文化の職場環境
- 活気ある企業でのキャリア機会
関連求人
