シニア Databricks エンジニア、機械学習・アナリティクス(リモート—米国)
米国退役軍人省のワークロードを対象に、機械学習とアナリティクス分野の Azure Databricks 移行および導入をリードします。 ガバナンスの効いたパイプライン、本番 ML ワークフロー、退役軍人省チーム向けのレポーティングソリューションを構築します。
仕事内容
- 米国退役軍人省のチームと連携し、ユースケースの定義、移行計画、Databricks ソリューションの提供を行う
- オンプレミスの SQL Server、SSIS、ストアドプロシージャ、スケジュールジョブのワークロードを評価し、Azure Commercial Databricks のパターンに適応させる
- PySpark、Spark SQL、Delta Lake、Lakeflow、Azure Data Factory を使用してデータパイプラインを開発・最適化する
- Unity Catalog のアクセス制御、データリネージ、共有機能を使用して顧客データをガバナンスする
- ワークショップ、ペアデリバリー、実践的なドキュメントを通じて顧客の導入を支援する
- Git、CI/CD、Databricks Asset Bundles を使用して再利用可能なテンプレートとコードを作成する
- 特徴量エンジニアリング、モデル学習、評価、MLflow トラッキング、Unity Catalog へのモデル登録、サービングを含む一連の ML ワークフローを開発する
- データサイエンティストがガバナンスと監視の行き届いた本番環境にモデルをデプロイできるよう支援する
- 検索拡張生成やエージェントベースのソリューションを含む生成 AI の取り組みを支援する
- SSIS とストアドプロシージャの ETL を、照合済みの Databricks パイプラインへ移行する
- Databricks SQL、AI/BI ダッシュボード、Power BI を使用してオンプレミスのレポーティングをモダナイズする
- セマンティックモデルとクエリパフォーマンス最適化を含むレポーティングデータセットを Databricks SQL ウェアハウスから公開する
応募要件
- データエンジニアリング経験が 7 年以上あり、そのうち 2 年以上は本番 Databricks ワークロードの提供経験がある
- Python、SQL、PySpark、Spark SQL に精通している
- Delta Lake、メダリオン型レイクハウスアーキテクチャ、Spark のパフォーマンス最適化に関する実務経験がある
- Unity Catalog の実務経験があり、カタログ、権限、データリネージ、行レベルおよび列レベルのセキュリティを理解している
- SQL Server、SSIS、ストアドプロシージャなどのオンプレミスシステムをクラウドプラットフォームへ移行した経験がある
- ADLS Gen2、Azure Data Factory、Entra ID、Key Vault などの Azure サービスを理解している
- Git、CI/CD、および Databricks Asset Bundles や Terraform などの Infrastructure as Code ツールを使用できる
- 要件ヒアリング、ワークショップ、トレーニングを含む顧客向けコンサルティングまたはプロフェッショナルサービスの経験がある
- 技術・非技術のステークホルダーと、文書および会話で明確にコミュニケーションできる
- コンピューターサイエンス、情報システム、または関連分野の学士号を取得している
- 米国市民である
- Public Trust クリアランスを取得できる
- 米国で就労する資格がある
- AI/ML 分野では、MLflow および scikit-learn、XGBoost、PyTorch などのフレームワークを使用したモデルの学習、評価、デプロイ経験がある
- アナリティクス分野では、スタースキーマ、セマンティックモデル、DAX を含む Databricks SQL と Power BI のデータモデリングを理解している
- Databricks 認定資格、医療データと HIPAA の経験、Azure Government または FedRAMP High の経験、Hive metastore から Unity Catalog へのアップグレード経験、Mosaic AI Vector Search、Agent Framework またはモデル監視の経験、Microsoft Fabric、Pyramid Analytics、Genie の知識があれば尚可
福利厚生
- 競争力のある報酬パッケージ
- 充実した年次休暇と有給休暇
- 包括的な団体医療保険および歯科保険
- 会社マッチング付き 401(k) プラン
- 生命保険および傷害・事故死亡保険
- 継続教育および専門能力開発の機会
