リモートデータ・AIエンジニア
RevStarのデータ・AIエンジニアとして、クラウドに依存しないDatabricks Lakehouseパイプラインと本番環境向けAIソリューションを構築します。 拡張性の高いデータアーキテクチャ、MLOpsワークフロー、ガバナンスを整備し、ソリューションを顧客チームに引き継ぎます。
仕事内容
- Apache SparkとDelta Lakeを使い、AWS、Azure、GCPにまたがるETL/ELTパイプラインを構築・最適化します。
- 企業の構造化データと非構造化データに対応するLakehouseアーキテクチャを設計します。
- データの取り込み、保存、特徴量エンジニアリングを自動化し、分析やリアルタイムAIのワークロードを支えます。
- Sparkジョブを最適化して、低レイテンシー、高スループット、効率的なクラウド支出を実現します。
- MLエンジニアやデータサイエンティストと連携し、MLflowを使ってDatabricks上にAIモデルをデプロイします。
- TerraformとDatabricks CLIを使い、CI/CDパイプラインとInfrastructure as Codeを構築します。
- Unity Catalogとクラウド環境で企業向けのセキュリティとアクセス制御を適用し、GDPR、HIPAA、SOC 2のコンプライアンス基準に対応します。
- 顧客の技術責任者、プロダクトマネージャー、エンジニアリングチームと協力し、AIデータのニーズをビジネス成果につなげます。
- 技術文書を作成し、顧客のエンジニアリングチームへのソリューション引き継ぎを主導します。
- プロダクトマネージャーまたはエンジニアリングリードに報告します。
応募要件
- クラウドネイティブなデータエンジニアリングの経験が3年以上あること。
- Databricks、Apache Spark、Delta Lake、MLflowの実務経験が2年以上あること。
- Python、SQL、Sparkフレームワーク、CI/CD、およびTerraformまたはDatabricks CLIを用いたInfrastructure as Codeのスキル。
- 有効なDatabricks Certified Data Engineer（AssociateまたはProfessional）またはDatabricks ML Professional認定をお持ちの方を優遇します。
- スピードの速いアジャイルおよびDevOpsのコンサルティング環境での実務経験。
- クラウドに依存しないアーキテクチャの提供経験。
- 優れた顧客コミュニケーション能力。
- E-Verifyを通じた直接雇用（W-2）のため、米国の就労許可要件を満たすこと。
福利厚生
- 有給休暇を取得してリフレッシュできます。
- リモートワークを中心とした環境で、世界各地のチームと連携できます。
- 医療、歯科、視力の各保険。
- 会社が提供する401(k)退職年金制度。
- カンファレンス、資格取得、講座に利用できる年間学習・能力開発手当。
- 経験豊富なエンジニア、プロダクトマネージャー、アーキテクトによる相互メンタリングとコーチング。
- さまざまな業界のAWS生成AI、データ、クラウド技術に触れながら専門性を高められます。
- 社内イベントやボランティア活動の機会。
- 好奇心と主体性を大切にする、協力的で革新的な職場環境。
