Keep IT Simple

11 – 50 従業員

Keep IT Simple（KIS）はシリコンバレーを拠点とするITサービスおよびソリューションの提供会社で、カリフォルニア州内外の組織にサービスを提供しています。1988年に設立され、サイバーセキュリティ、仮想化、クラウドソリューション、ネットワークインフラストラクチャのコンサルティングを通じて、顧客が複雑なテクノロジー上の課題に対応できるよう支援しています。物流、ヘルスケア、サイバーセキュリティなどの業界で事業を展開し、実践的なITガイダンス、コストを意識したソリューション、迅速な顧客対応を重視しています。

企業の求人

シニアデータエンジニア、DatabricksおよびAIデータプラットフォーム

グローバルな保険・資産運用会社向けに、Databricksデータプラットフォームの設計を主導します。クラウド分析、AIと機械学習、ガバナンス、エンタープライズの近代化を推進します。

4 日前

ブラジルハイブリッドフルタイムシニア必須言語：英語データエンジニア

Apache AWS Azure ETL Kafka Oracle Postgres PySpark Python Spark SQL Terraform Unity クラウド

仕事内容

Databricks、Spark、クラウド技術を用いて、拡張性の高いデータパイプラインを設計・保守する。
バッチおよびリアルタイムのデータ取り込みフレームワークを構築・最適化する。
エンタープライズデータソリューション向けに、再利用可能なエンジニアリングパターンと高速化ツールを作成する。
データエコシステム全体にデータ品質、可観測性、リネージ、ガバナンスを実装する。
大規模なデータモダナイゼーションとクラウド移行の取り組みを支援する。
Delta LakeアーキテクチャとMedallionデータモデルを設計する。
Databricksノートブック、ワークフロー、Delta Live Tablesを使用して、最適化されたETLおよびELTパイプラインを開発する。
パフォーマンスチューニング、コスト最適化、ワークロード管理の実践方法を整備する。
Unity Catalogを使用して、データガバナンス、セキュリティ、メタデータを管理する。
Databricksのデプロイ向けに、CI/CDパイプラインとInfrastructure as Codeを実装する。
AzureとAWS向けのクラウドネイティブなデータアーキテクチャを設計する。
SQL Server、Oracle、API、SaaS、ストリーミングプラットフォームなどの企業データソースを統合する。
高可用性と災害復旧の要件を満たす、耐障害性と安全性の高いデータサービスを構築する。
インフラおよびセキュリティチームと連携し、クラウドセキュリティ管理策とコンプライアンス基準を適用する。
AI、機械学習、生成AIのワークロード向けデータプロダクトを構築・最適化する。
モデルのトレーニングと推論に向けた特徴量エンジニアリングのパイプラインと、整理されたデータセットを開発する。
ベクトルデータベース、セマンティック検索、検索拡張生成、LLMアプリケーションを支援する。
データサイエンティストやAIエンジニアと協力して、機械学習ソリューションの本番運用を進める。
MLOpsとDataOpsの実践を適用し、拡張性の高いAI提供を支援する。
複雑なデータエンジニアリングの取り組みを主導する。
アーキテクチャ標準、エンジニアリングの実践方法、開発ガイドラインを定める。
ジュニアおよび中堅エンジニアを指導する。
アーキテクチャをレビューし、技術的な提案を行う。
自動化、可観測性、プラットフォームエンジニアリングの実践を推進する。

応募要件

コンピューターサイエンス、情報技術、工学、または関連分野の学士号。
データエンジニアリング、データウェアハウス、またはデータプラットフォーム開発の経験が8年以上。
DatabricksおよびApache Sparkの実務経験が5年以上。
エンタープライズ規模のクラウドデータプラットフォームを設計・実装した経験。
技術的な取り組みを主導し、エンジニアリングチームを指導した経験。
Databricks、Apache Spark（PySparkおよびSpark SQL）、Delta Lake、Delta Live Tables、Unity Catalog、データウェアハウス、データモデリングの経験。
Python、SQL、PowerShellまたはスクリプトによる自動化の経験。
Microsoft Azure、AWS、およびクラウドネイティブなストレージ・コンピューティングサービスの経験。
SQL Server、Oracle、PostgreSQL、および各種データベースの経験。
Azure Data Factory、Databricks Workflows、Kafkaまたはイベントストリーミング、REST APIの経験。
GitHub、Azure DevOps、CI/CDパイプライン、Terraform、Infrastructure as Codeの経験。
監視・アラートツール、データ品質フレームワーク、パフォーマンス最適化、ログ記録、トラブルシューティングに関する知識。
機械学習データパイプライン、特徴量ストア、MLOps、生成AIの概念、ベクトルデータベース、検索拡張生成、AIガバナンス、責任あるAIの原則に関する知識。
歓迎資格：Databricks Certified Data Engineer Professional、Azure Data Engineer Associate、またはAWS Data Analytics。
規制対象業界、エンタープライズデータガバナンスプログラム、本番環境へのAI統合の経験があれば尚可。
戦略的思考、問題解決力、技術的リーダーシップ、アーキテクチャ設計、ステークホルダー管理、コミュニケーション・プレゼンテーション能力、継続的改善、イノベーションとAI導入、およびリスク・コンプライアンスへの意識。