Keep IT Simple（KIS）はシリコンバレーを拠点とするITサービスおよびソリューションの提供会社で、カリフォルニア州内外の組織にサービスを提供しています。1988年に設立され、サイバーセキュリティ、仮想化、クラウドソリューション、ネットワークインフラストラクチャのコンサルティングを通じて、顧客が複雑なテクノロジー上の課題に対応できるよう支援しています。物流、ヘルスケア、サイバーセキュリティなどの業界で事業を展開し、実践的なITガイダンス、コストを意識したソリューション、迅速な顧客対応を重視しています。
シニア Databricks データエンジニア（AIプラットフォーム）
グローバルな保険・資産運用会社向けに、Databricks とクラウドデータ基盤を構築します。 ガバナンスの効いた分析、機械学習、生成 AI ソリューションを支援します。
仕事内容
- Databricks、Spark、Python、SQL を使用して、拡張性の高いデータパイプラインとデータプロダクトを構築・保守します。
- 社内およびサードパーティのデータソース間で、バッチ、ストリーミング、リアルタイム連携を作成・改善します。
- Delta Lake と Medallion パターンを用いて Databricks Lakehouse アーキテクチャを実装します。
- 分析、予測モデリング、機械学習、生成 AI 向けのデータプロダクトを提供します。
- データサイエンティストや AI エンジニアと連携し、AI および ML のユースケースに向けたデータの準備、変換、ガバナンスを行います。
- 特徴量エンジニアリングのパイプラインを作成し、機械学習ライフサイクルのプロセスを支援します。
- RAG、ベクトル検索とセマンティック検索、LLM アプリケーション向けのデータソリューションを構築します。
- Spark ジョブ、SQL ワークロード、データフレームワークを改善し、性能、拡張性、コスト効率を高めます。
- データ品質、可観測性、リネージ、ガバナンス、監視の機能を確立します。
- データプライバシー、セキュリティ、責任ある AI の基準を満たします。
- データプラットフォーム全体で CI/CD、Infrastructure as Code、DataOps を支援します。
- 若手エンジニアを指導し、適切なエンジニアリングの実践を促進します。
- データサイエンティスト、AI エンジニア、アーキテクト、ビジネス関係者と協力し、信頼性が高くガバナンスの効いたデータプロダクトを提供します。
- 堅牢で安全かつガバナンスの効いたデータプラットフォームを通じて、全社的な AI と生成 AI の取り組みを支援します。
応募要件
- コンピューターサイエンス、情報システム、工学、数学、または関連分野の学士号。
- データエンジニアリング、ETL 開発、大規模データプラットフォームのいずれかで7年以上の経験。
- Databricks と Apache Spark の実務経験が3年以上。
- 分散データ処理の経験と、Python および SQL の高いスキル。
- クラウドデータレイク、データウェアハウス、Lakehouse アーキテクチャの構築経験。
- AI、機械学習、高度な分析の取り組みを支援した経験。
- データモデリング、ガバナンス、企業データ管理に関する知識。
- AWS、Azure、Google Cloud のいずれかで大規模パイプラインを構築・調整した経験。
- Databricks Delta Lake、Unity Catalog、Delta Live Tables、MLflow、Mosaic AI、Databricks Workflows の経験。
- 生成 AI、大規模言語モデル、RAG、ベクトルデータベース、または AI 活用アプリケーションの実務経験。
- LangChain、Semantic Kernel、OpenAI API、Hugging Face、または同等のツールに関する知識。
- 特徴量ストア、モデル学習パイプライン、MLOps の経験。
- Kafka、Event Hub、またはその他のストリーミング技術の経験。
- Databricks Certified Data Engineer Professional、または同等のクラウド認定資格があれば尚可。
- Databricks プラットフォームエンジニアリングの専門知識。
- Apache Spark の開発経験。
- AI および機械学習データエンジニアリングの専門性。
- 生成 AI データソリューションの経験。
- Lakehouse アーキテクチャの経験。
- データモデリングとデータウェアハウスに関する専門知識。
- データガバナンスとセキュリティに関する専門知識。
- データ可観測性と信頼性エンジニアリングの経験。
- AWS または Azure のクラウドデータプラットフォーム経験。
- DataOps、CI/CD、自動化の経験。
- 技術的なリーダーシップとメンタリングの経験。
福利厚生
- 独立請負業者（PJ）としての契約。
- 週3日、サンパウロのPinheirosオフィスに出社するハイブリッド勤務。
