Google Cloudデータエンジニア—コロンビア勤務・リモート
KeyrusKeyrusのエンタープライズインテリジェンスソリューション向けに、拡張性の高いGoogle Cloudデータパイプラインを構築します。 BigQuery、Pub/Sub、Dataform、Cloud Storage、Cloud Composerを活用します。
開く
シニアデータエンジニア（AI・Databricks）
RevStarの顧客向けに、クラウドに依存しないDatabricks Lakehouseパイプラインと本番環境向けAIソリューションを構築します。 Sparkの性能、MLOps、ガバナンス、自動デプロイを改善します。
仕事内容
- Apache SparkとDelta Lakeを使用し、AWS、Azure、GCPにわたるETL/ELTパイプラインを構築・最適化します。
- エンタープライズ規模の構造化データおよび非構造化データ向けにLakehouseアーキテクチャを構築します。
- 分析やリアルタイムAIワークロード向けに、データ取り込み、保存、特徴量エンジニアリングを自動化します。
- Sparkジョブをチューニングし、スループットを高めながらレイテンシとコストを削減します。
- MLエンジニアやデータサイエンティストと連携し、MLflowを使用してDatabricks上にAIモデルをデプロイします。
- TerraformとDatabricks CLIを使ってCI/CDパイプラインを構築し、Infrastructure as Codeを実践します。
- GDPR、HIPAA、SOC 2を含む企業のセキュリティ、アクセス制御、コンプライアンス基準を適用します。
- 顧客の技術責任者、プロダクトマネージャー、エンジニアリングチームと連携し、AIデータのニーズをビジネス成果につなげます。
- 技術文書を作成します。
- ソリューションの顧客エンジニアリングチームへの引き継ぎを支援します。
応募要件
- クラウドネイティブなデータエンジニアリングの経験が3年以上あること。
- Databricks、Apache Spark、Delta Lake、MLflowの実務経験が2年以上あること。
- Python、SQL、Sparkフレームワーク、CI/CD、およびTerraformまたはDatabricks CLIを用いたInfrastructure as Codeに関する高いスキル。
- 変化の速いアジャイルおよびDevOpsのコンサルティング環境で、成果を上げた実績があること。
- クラウドに依存しないアーキテクチャの提供経験があること。
- 優れた顧客コミュニケーション能力。
- 有効なDatabricks Certified Data Engineer（AssociateまたはProfessional）またはDatabricks ML Professional認定の保有者を特に歓迎します。
福利厚生
- グローバルチームとつながる、リモートワークを中心とした環境。
- 好奇心と主体性を大切にする、協力的で革新的な文化。
- 機会均等を重視する職場。
- 障害のある方に合理的配慮を提供します。
