
シニアデータエンジニア
Databricks と Delta Lake を活用して信頼性の高いパイプラインを構築し、PrePass の Azure データプラットフォームの設計と拡張を主導します。 交通・料金管理サービスの分析とリアルタイム運用を支援します。
仕事内容
- PrePass の中核データプラットフォームを設計・拡張する。
- 複数のソースのデータを統合する、スケーラブルな Azure ETL/ELT パイプラインを構築・運用する。
- SQL、Apache Spark、Databricks、Delta Lake を分析、レポート、リアルタイムのワークロードに活用する。
- レガシー SSIS ワークロードのモダナイゼーションを計画し、実行する。
- 概念実証とプロトタイプを主導し、次のステップを提案する。
- テスト駆動開発、ペアプログラミング、継続的リファクタリング、自動 CI/CD を推進する。
- AI 支援ツールをコード生成、テスト作成、レガシーコードのリファクタリング、パイプラインの異常検知に活用する。
- 鮮度、稼働時間、信頼性に関する SLA に照らして重要なデータシステムを監視する。
- データ統合と品質の問題を調査し、解決する。
- エンドツーエンドのトレーサビリティとオブザーバビリティを確立する。
- コストと規模に合わせてパイプラインとコンピューティングを最適化する。
- データエンジニアリング標準とアーキテクチャ文書を策定・維持する。
- アジャイルチームで継続的な改善を推進する。
- 他のエンジニアを指導する。
応募要件
- 大規模な分散データパイプラインとクラウドデータプラットフォームを設計、構築、運用した実績があること。
- 単体テスト、統合テスト、データ契約テストを含む、データパイプラインのテスト駆動開発経験があること。
- ペア作業、リファクタリング、継続的インテグレーションなどの XP プラクティスの経験があること。
- AI コーディングアシスタントや LLM ベースのツールをエンジニアリングのワークフローに取り入れた経験があること。
- 高可用性の本番システムを運用し、稼働時間、信頼性、オブザーバビリティの要件に対応した経験があること。
- アジャイルチームでエンジニアリング標準の策定、アーキテクチャレビュー、システム文書化、メンタリングを行った経験があること。
- データサイエンスまたは機械学習の経験があること。特に Databricks 上での MLOps、モデルデプロイ、Feature Store 管理、特徴量エンジニアリングの経験があること。
- Terraform や Bicep などの Infrastructure as Code ツールの経験があること。
- キュー、バッチ、パブリッシュ/サブスクライブモデルを含むイベント駆動アーキテクチャに精通していること。
- Databricks、Delta Lake、PySpark または Spark SQL、Databricks Workflows、Unity Catalog の本番環境での経験があること。
- 大量の IoT、テレマティクス、または輸送データを扱った経験があること。
福利厚生
- 入社日から医療、歯科、眼科の各保険に加入できます。
- 有給休暇には年次休暇、病気休暇、祝日、フローティングホリデーが含まれます。
- 会社のマッチング拠出がある 401(k) プランを利用できます。
- 心身のウェルビーイングに関する費用に使える、会社負担のライフスタイル口座があります。
- 授業料補助制度があります。
- 任意の福利厚生として、法律相談やペット関連の割引があります。
- 従業員支援プログラムを無料で利用できます。
- 心身とキャリアのウェルビーイングを支援する、会社運営のカルチャーチームがあります。
- 地域社会への寄付活動があります。
- 従業員向けの能力開発プログラムがあります。
関連求人



シニアデータエンジニア
American ExpressApacheAWSBigQueryCassandraDockerDynamoDBETLGoogle Cloud PlatformITSMJavaKafkaKubernetesLinuxMongoDBMySQLNoSQLOraclePostgresPythonRedisServiceNowSparkSQLTerraformクラウドシェルスクリプティング分散システム
アメリカン・エキスプレスの安全で堅牢なデータプラットフォームの設計と最適化を主導します。 データベースアーキテクチャ、クラウドエンジニアリング、性能調整、データエンジニアの育成を担います。
開く


