Coretekは、Microsoft Azureのエキスパートマネージドサービスプロバイダーであり、政府、医療、製造、金融サービスなどの組織にサービスを提供するクラウド技術コンサルティング企業です。クラウド移行、アプリケーションのモダナイゼーション、DevOpsの自動化、ワークスペース管理、サイバーセキュリティに加え、Azure OpenAIや機械学習技術を活用したAIソリューションまで幅広く手がけています。また、Palo AltoやDynatraceなどのプラットフォームを利用したセキュリティおよびオブザーバビリティサービスを提供し、ImprivataやCitrixに関わるパートナーシップにも取り組んでいます。同社の多分野にわたるチームは、顧客のインフラストラクチャのモダナイゼーション、セキュリティ強化、実用的なクラウドおよびAI能力の構築を支援します。
Azureデータエンジニア――インドでのハイブリッド勤務
Coretek向けに、信頼性の高いAzureのバッチおよびストリーミングパイプラインを構築・運用します。 ガバナンスの効いたデータモデル、品質管理、本番ワークフローを開発し、業務・技術チームを支援します。
仕事内容
- 冪等性、可観測性、復旧性を備えたバッチおよびストリーミングデータパイプラインを設計、構築、保守する
- ディメンショナルスキーマ、セマンティックレイヤー、キュレート済みデータマートなどの分析用データモデルを作成する
- 運用データベース、SaaS API、ファイル、イベントストリームを接続し、スキーマの変化と遅れて到着するデータを管理する
- データの鮮度、件数、重複のなさ、参照整合性を確認するチェックをパイプラインに組み込む
- パイプライン障害に対するアラートとエスカレーションの手順を確立する
- 監視、オンコールでのインシデント対応、根本原因分析、バックフィルを通じて本番パイプラインを管理する
- パーティショニング、クラスタリング、ファイルサイズ、データウェアハウスまたはクラスターの規模を最適化して性能を向上させ、コストを管理する
- バージョン管理、コードレビュー、CI/CD、自動テスト、Infrastructure as Codeを活用する
- セキュリティ・コンプライアンスチームと連携し、アクセス制御、PII保護、保持期間、データリネージ、監査要件を徹底する
- アナリスト、データサイエンティスト、プロダクトエンジニアと協力して、長期的に維持できるデータ契約を確立する
- データディクショナリ、リネージ記録、パイプライン運用手順書を最新に保つ
応募要件
- 本番データパイプラインの構築経験が5年以上あること
- テスト、パッケージング、コードレビューを含む、データエンジニアリングにおけるPythonの豊富な実務経験
- PySpark DataFrameおよびSQL API、大規模な結合と集計、パーティショニング、シャッフルの挙動、Spark UIを用いた診断に精通していること
- ウィンドウ関数、クエリプラン分析、性能チューニングを含む高度なSQLスキル
- Azure Data Factory、Databricks、SynapseまたはFabric、ADLSの実務経験
- 正規化、スター スキーマ、緩やかに変化するディメンションを含む、確かなデータモデリング知識
- Gitベースの開発ワークフローとCI/CDデリバリーの経験
- 非技術系の関係者にパイプラインの問題を説明できる、優れたコミュニケーション能力
- 根本原因分析を含む、卓越した分析力と問題解決力
- コンサルティング型の技術環境で顧客と協働した豊富な経験
- KafkaまたはEvent Hubsを用いたストリーミングデータの経験
- Delta LakeまたはIcebergの使用経験
- Infrastructure as CodeにTerraformまたはBicepを、コンテナ化にDockerまたはKubernetesを使用した経験
- HIPAA、SOC 2、PCIまたはGDPRに関わる規制環境での業務経験
- 機械学習データプラットフォームの構築またはフィーチャーパイプラインの支援経験
- 複数の顧客プロジェクトを管理し、予定どおり高品質な成果物を提供できること
- Azure DevOpsまたはGitHubを使用したソース管理とデリバリーパイプラインの経験
