
ソフトウェアエンジニア III――データエンジニアリング(チェンナイ、オンサイト)
LexisNexis Risk Solutions 向けに、Azure ベースのデータパイプラインとプラットフォームを構築・最適化します。 複数の事業領域にわたるエンタープライズ分析、レポート、業務データの取り組みを支援します。
仕事内容
- Azure Data Factory、Databricks、Azure ストレージサービスを使用して、スケーラブルな ETL/ELT パイプラインを構築・保守する
- リレーショナルデータベース、API、ファイルベースのソースから Azure プラットフォームにデータをロードする
- ECL を使用して HPCC 上で、SparkSQL と PySpark を使用して Azure 上で変換処理を作成する
- Azure Databricks のノートブックとジョブを開発、保守、最適化する
- 大規模データ処理向けに高性能な Spark ワークロードを実装する
- ECL を使用して HPCC 上で、また Delta Lake、Parquet、または同等の列指向形式でデータモデルを作成する
- スケーラビリティとパフォーマンス向上のために ECL、SQL、Spark ワークロードをチューニングする
- アナリスト、データサイエンティスト、アプリケーションチームと連携し、データ要件を定義してエンジニアリングプラクティスを発展させる
応募要件
- 高度な SQL スキルと、データ変換ロジックに関する高い理解
- データウェアハウスの原則と ETL/ELT アプローチに関する実務知識
- Azure Databricks、Spark SQL、PySpark の実務経験
- Azure Data Factory、ADLS Gen2、Azure SQL または Synapse の使用経験
- 大規模な構造化データおよび半構造化データセットを扱った経験
- アジャイルソフトウェア開発手法に関する知識
- 新しいテクノロジーや運用プロセスを学ぶ意欲
- 要件定義と設計から保守まで、ソフトウェア開発ライフサイクル(SDLC)全体を理解していること
- ソフトウェアエンジニアリングの原則、デザインパターン、開発のベストプラクティスに関する知識
- 要件を収集、明確化、文書化できる能力
- 優れた文書および口頭でのコミュニケーション能力
- 効果的な分析力と問題解決能力
- 保険用語に関する知識
福利厚生
- 福利厚生は従業員の所在国によって異なります
- 応募者には宿泊および採用プロセスのサポートを提供します
- 機会均等を推進しています






