ClickBusの中級データエンジニア
ClickBusのバスチケットマーケットプレイス向けに、バッチおよびストリーミングデータパイプラインを構築・最適化します。 AWS、Spark、Airflow、dbt、データ品質の実践を活用し、パフォーマンス、コスト、信頼性を改善します。
仕事内容
- EKS上のAirflow、EMR/Spark、dbtを使用して、バッチおよびストリーミングパイプラインを構築・保守・改善する
- DMS、API、ファイル、イベント向けの取り込みプロセスを作成し、データレイクの各レイヤーでデータを整理する
- DAGの失敗、処理エラー、指標の不整合、スキーマの問題など、パイプラインのインシデントを診断・解決する
- 根本原因分析を実施し、障害の再発を防ぐ変更を提案する
- 自動テスト、検証チェック、照合プロセスを通じてデータ品質を維持する
- Sparkおよびdbtの変換処理を開発・チューニングし、パフォーマンス向上とコスト管理を実現する
- Athenaクエリとdbtモデルを最適化し、処理コストを削減して応答時間を改善する
- 一貫性と冪等性を備えた追加、上書き、マージ/アップサートの増分ロードを実装する
- データアーキテクチャの進化に合わせて、技術的な改善と標準化に貢献する
- コードレビューを行い、適切なバージョン管理と技術文書のプラクティスを適用する
- ビジネスチームと連携し、提供するデータが機能要件を満たしていることを確認する
- パイプラインの実行を監視し、継続的な改善の機会を見つける
応募要件
- クラウド環境でデータエンジニアとして働いた実績
- 本番データパイプラインの構築・運用経験
- データインシデントのトラブルシューティングと解決経験
- ファクトテーブルとディメンションテーブルを使用した分析モデルの設計経験
- 増分ロード戦略とデータパーティショニングに関する知識
- S3、Athena、IAM、Glue CatalogなどのAWSサービスに関する実務知識。EMRの知識があれば尚可
- Airflow DAGの作成・保守経験
- 結合、パーティショニング、基本的なパフォーマンスチューニングを含む実践的なPySparkスキル
- dbtモデリング、増分モデル、テストの経験
- 高度なSQLスキル
- Pythonプログラミングスキル
- Gitの使用経験
福利厚生
- Flashカードで毎月1,100ブラジルレアルの食事または食品手当を支給
- Flashカードで毎月149ブラジルレアルの在宅勤務手当を支給
- Flashカードで毎月200ブラジルレアルのフレキシブル福利厚生手当を支給
- アプリまたはウェブサイトでのバスチケット購入に利用できる、年間2,000ブラジルレアルのBusonauta Viajante福利厚生
- 交通手当
- 駐車場福利厚生
- 自己負担金および月額保険料なしのSulAmérica医療保険
- Bradesco歯科保険
- 母親・父親向け育児補助
- 6か月の産休および30日の育休
- 生命保険
- WellhubおよびTotalPassの利用
- 年間利益分配ボーナス
- 誕生日休暇
- Petlove提携福利厚生
- 薬局補助
- 障害のある子どもへの支援
- 教育・レジャー機関との提携
