AIエンジニア、LLMエージェント
Upwind Security
Upwind Securityのクラウドセキュリティプラットフォーム向けに、LLMエージェントを開発・展開します。 ランタイム脅威の調査と修復を担う自律型ワークフローを研究・評価・構築します。
開く
シニアデータエンジニア（Databricks）
Ellis Porterの移民法務業務と責任あるAIの取り組みに向け、Databricksのデータパイプライン、ガバナンス、プラットフォーム運用を主導します。 事務所全体のチームに、信頼性の高いデータプロダクトを提供します。
仕事内容
- Ellis Porterの業務システムからデータを取り込むDatabricksパイプラインを構築・保守します。
- データ品質チェックを自動化し、データソースを照合して欠損、不正確、重複したレコードを特定します。
- シルバー層とゴールド層のデータレイヤーを設計・構築します。
- レポート作成、システム間照合、ID解決に使用する、ガバナンスの整ったデータプロダクトを提供します。
- ジョブのスケジュール設定、監視、アラート、データの鮮度、アクセス制御、コスト最適化など、日々のプラットフォーム運用を管理します。
- 運用手順書を維持し、復旧手順をテストして、プラットフォームのサポートに関する知識を文書化します。
- Azure DevOpsを使用し、CI/CDパイプラインと開発・テスト・本番環境へのデプロイを管理します。
- データプラットフォーム以外のAzureインフラストラクチャのニーズについて、Ellis PorterのITベンダーと調整します。
- 記録システムを保護し、適切なユーザーアクセスを設定するとともに、デプロイ前にライセンスとプラットフォームの制約を確認します。
- ビジネス関係者と協力し、ニーズを実用的で信頼性の高いデータソリューションに落とし込みます。
- 機密性の高い顧客・案件データについて、機密保持、保持期間、最小権限アクセス、監査の各管理策を策定・実施します。
- データマスキング、評価用データセット、人による承認を用いて、範囲を限定したAIおよびパートナーの試験導入を支援します。
- 既存のDatabricksプラットフォームを評価して改善策を見つけ、データ機能の拡充に貢献します。
- データサービス・プロダクト担当マネージャーや、業務、アプリケーション、IT、セキュリティの関係者と、アーキテクチャおよび内製・購入の判断について協議します。
- 経営陣から割り当てられるその他の業務を遂行します。
応募要件
- コンピューターサイエンス、工学、または関連分野の学士号もしくは修士号、または同等の実務経験。
- データエンジニアリングの経験が4年以上あること。
- 本番環境でDatabricksソリューションを構築・運用した実務経験が2年以上あること。
- Unity Catalogで管理されたDeltaテーブル上の複数タスクLakeflow Jobsの経験。
- 宣言型Automation Bundles（旧Databricks Asset Bundles）または同等のInfrastructure as Codeによるデプロイ経験があれば尚可。
- 自身が構築した本番パイプラインについて、設計上の選択、障害、運用上の課題を説明できること。
- 技術職でない関係者と明確に意思疎通し、エンジニアリング上の判断をビジネスへの影響と結び付けられること。
- Pythonに精通し、pytestによるテストとパッケージ化ができること。
- PySparkの経験があれば尚可。
- SQLとディメンショナルモデリングの高いスキルがあり、BIツールにガバナンスの整ったデータセットを提供できること。
- REST APIおよびSaaSのデータ取り込みパイプラインの構築経験があり、ページネーション、レート制限、スキーマ変更、認証情報のローテーションに対応できること。
- GitベースのCI/CDワークフローの経験。
- Azure DevOpsの経験があれば尚可。
- AI支援開発ツールの利用経験があり、デプロイ前に生成コードをレビュー、テスト、検証できること。
- Lakeflowパイプライン、マネージドコネクター、エンティティ解決、またはレコードリンケージの経験があれば尚可。
- データプラットフォーム向けAzureリソースの管理経験があれば尚可。Infrastructure as Codeの経験が望ましい。
- すべての業務を米国内で行うこと。
福利厚生
- 刺激的で多様性があり、やりがいのある仕事を通じて、意義ある使命を支援できます。
- 知的で創造力に富み、熱意ある移民法務の専門家とともに、互いを尊重し協力するチームで働けます。
- 多様な視点、背景、アイデンティティ、経験を大切にするインクルーシブな事務所文化。
- リモートワークの機会を含む、人を中心に考えた職場方針と柔軟な勤務スケジュール。
- 競争力のある報酬。
- 医療、歯科、眼科、生命保険。
- 雇用主によるマッチング拠出のある401(k)退職貯蓄プラン。
- 充実した有給休暇。
- TroyまたはAnn Arborのオフィスに出勤する従業員は、カジュアルな服装で勤務できます。
- TroyまたはAnn Arborのオフィスに出勤する従業員には、無料の食事が提供されます。
- TroyまたはAnn Arborのオフィスに出勤する従業員には、世界各地の料理や文化に触れる機会が定期的にあります。
