Swoop シニアデータエンジニア——カリフォルニア州ハイブリッド勤務
SwoopのAI主導のヘルスケア・エンゲージメント事業で、NimbleRxのデータプラットフォームを主導します。バッチ処理、ストリーミング、バックエンドサービス全体で、コンプライアンスに準拠したパイプライン、データウェアハウスモデル、性能システムを構築します。
仕事内容
- 取り込み、変換、保存、クエリ、アクセスまで、データプラットフォーム全体を統括する
- 会社のデータ要件の拡大に合わせて、データプラットフォームのロードマップを策定する
- PySpark、EMR、Kinesis、Lambda、Step Functionsを使用してバッチおよびストリーミングパイプラインを開発・改善する
- Postgres、Salesforce、外部ベンダー、プロダクトイベントのデータをIcebergベースのデータレイクに取り込む
- エンジニアリングチームと分析チーム向けに、SCDテーブル、イベントモデル、共有データ標準を整備する
- プロダクト、エンジニアリング、分析、オペレーションと連携し、データ要件を信頼性の高いパイプラインに変換する
- データのセルフサービス利用を支援するドキュメントとツールを作成する
- 監査証跡、アクセス制御、一時アクセスのプロセスを含むデータセキュリティとコンプライアンスを主導する
- JavaおよびSpringサービスでレプリカルーティング、インデックス、キャッシュ、I/O計測を行い、バックエンドのクエリ性能を改善する
- IOPSの急増、パイプライン停止、スキーマ変更、データ遅延を診断して解決する
- パイプラインの足場づくり、スキーマ開発、調査にAIを活用し、社内向けAIツールも提供する
- エンジニアとアナリストにデータプラットフォームの効果的な利用方法を指導する
応募要件
- 本番環境のデータパイプラインおよびデータプラットフォームを提供した経験が5年以上あること
- 高度なPython、PySpark、SQLのスキルがあり、大規模環境でSparkの性能チューニングができること
- JavaおよびSpring Bootを使用してデータ層周辺のサービスを開発する能力と意欲があること
- SparkやEMRなどの分散処理、Kinesisによるストリーミング、S3のオブジェクトストレージに関する実務経験
- クエリ最適化、インデックス、レプリケーション、レプリカルーティング、データベースのボトルネック分析を含む、Postgresの高度な知識
- IcebergとTrino、または同等の技術の経験
- CI/CDの実践とTerraformの実務知識
- 最先端モデルまたはエージェント型コーディングツールを使用したAIソリューション構築の経験
- プロダクト、オペレーションなどのチームと協働できることを示す実績
- セキュリティおよびPII/PHIコンプライアンスを中核的なエンジニアリング責任として扱った専門経験
福利厚生
- 専門能力の開発とキャリア成長の機会
- 会社は働きやすい職場として認められています。この認定は個人の報酬や福利厚生ではありません
