EXL
EXL
EXLは、データ、分析、テクノロジーを活用して業務運営の改善と意思決定の高度化を支援する、ビジネスコンサルティングおよびサービス企業です。業務管理、意思決定分析、デジタルトランスフォーメーションなどのサービスを提供し、ヘルスケア、保険、金融、物流分野の顧客を支援してきた実績があります。EXLはデータサイエンスと実践的なビジネス知見を組み合わせ、各組織の目標、業務モデル、業界特性に合わせたソリューションを開発しています。

EXL Databricksテックリード — チェンナイ、ハイブリッド勤務

金融犯罪プラットフォーム向けのDatabricksレイクハウスエンジニアリングを主導します。 Delta Lakeのパイプラインを構築し、開発・テスト・本番環境のUnity Catalogを管理します。

仕事内容

  • 開発・テスト・本番環境におけるDatabricksワークスペース、クラスター、コンピュートプールを構築・保守します。
  • Unity Catalogのガバナンス、アクセス制御、きめ細かな権限、データリネージを設定します。
  • クラスターの種類、自動スケーリング、スポットまたはプリエンプティブルノードを調整し、コストと性能のバランスを取ります。
  • Databricks Secrets、Azure Key Vault、またはAWS Secrets Managerを使って、ワークスペース構成、アクセス制御、シークレット管理を整備します。
  • Databricksのジョブ、ワークフロー、依存関係を含むマルチタスクのオーケストレーションを管理します。
  • パーティショニングとZ-orderを用いたDelta Lakeテーブルを設計し、OPTIMIZEとVACUUMでファイルを圧縮します。
  • Medallion Architectureを用いて、構造化データレイクをBronze、Silver、Goldの各レイヤーに整理します。
  • 宣言型ETL/ELTと組み込みのデータ品質期待値を備えたDelta Live Tablesパイプラインを開発します。
  • 増分処理に向けて、スキーマ変更、テーブルバージョン、タイムトラベル、Change Data Feedを扱います。
  • Delta LakeをKafka、ADLS、S3、GCSに接続するレイクハウスパターンを作成します。
  • AML、KYC、CRA、制裁スクリーニング、取引モニタリング、不正検知、規制報告を対象とする金融犯罪プラットフォーム向けDatabricksパイプラインを構築します。

応募要件

  • コンピューターサイエンス、情報技術、データエンジニアリング、または関連分野の学士号または修士号。
  • データエンジニアリングまたはソフトウェアエンジニアリングの経験が8年以上。
  • 本番環境でDatabricksを実務使用した経験が3年以上。
  • ビッグデータエンジニアリング、クラウドデータプラットフォーム、分散コンピューティングに関する確かな基礎知識。
  • Databricks Workspaces、Clusters、Jobs、Workflows、Reposを深く扱った経験。
  • メタストアの設定、カタログ、スキーマとテーブルの管理、アクセス制御、データリネージを含むUnity Catalogの習熟度。
  • Delta Live Tablesパイプラインの開発、監視、品質期待値の設定に関する実務経験。
  • トランザクションログ、ACID保証、ファイル配置、最適化手法など、Delta Lakeの内部構造に関する深い理解。
  • Databricks SQL Warehouses、SQL Analytics、ダッシュボード開発の経験。
  • Databricks Photonエンジン、サーバーレスコンピュート、コスト最適化に関する知識。

関連求人

Neuron

シニアフロントエンドエンジニア(Angular)

Neuron

NeuronのAIサービス解決プラットフォームにおける、Webとモバイルの体験を実現するフロントエンドアーキテクチャを主導します。 再利用可能なUIコンポーネント、各種連携、パフォーマンス、エンジニアの育成を担当します。

開く
Weekday

シニア・フルスタックJavaエンジニアリングマネージャー

Weekday

エンジニアリングチームを率い、スケーラブルなJava・Spring Bootサービスと最新のフロントエンドアプリケーションを開発します。 ソフトウェア開発クライアント向けに、アーキテクチャ、信頼性、メンタリング、デリバリーを推進します。

開く
Citi

Spring Boot マイクロサービス開発者 – プネー、ハイブリッド勤務

Citi

Spring Boot マイクロサービスを基盤とするシティの金融サービスアプリケーションを開発・サポートします。 アプリケーションのセキュリティ向上、システムのデバッグ、技術関係者への助言も担当します。

開く
Nokia

シニアソフトウェアエンジニア、クラウドネイティブプラットフォーム

Nokia

NokiaのMantaRay NMクラウドネイティブネットワーク可観測性プラットフォームの構築に携わり、分散システム、Kubernetes、CI/CD自動化を担当します。 AI支援型エンジニアリングツールと自動化を活用し、ソフトウェア開発を改善します。

開く
Nokia

クラウドネイティブプラットフォーム担当シニアソフトウェアエンジニア

Nokia

通信事業者向けに、ノキアのネットワーク管理プラットフォーム MantaRay を開発します。 クラウドネイティブな分散システム、Kubernetes、CI/CD 自動化、AI 支援開発を主導します。

開く