
ミッド/シニア Azure Databricks データエンジニア(コロンビア・リモート)
GFT TechnologiesでAzureとDatabricksのデータパイプラインおよびクラウドアーキテクチャを設計・最適化します。分析、人工知能、機械学習のための信頼できるデータを準備します。
仕事内容
- AzureとDatabricksを基盤とするデータアーキテクチャの設計、構築、最適化
- 複数の情報源を統合するETLおよびELTプロセスの実装
- Data LakeおよびLakehouseアーキテクチャの設計と管理
- 一貫性、品質、追跡可能性、セキュリティを確保するためのデータパイプラインの監視
- 高度な分析、レポート、機械学習モデル向けのデータセットの準備と最適化
- BI、分析、データサイエンスの各チームと連携し、情報へのアクセスを改善
- データガバナンスと品質管理の定義および実装
- データソリューション向けの継続的インテグレーションおよび継続的デリバリープロセスの実装
- 分散処理と大容量データ向けのスケーラブルなソリューションの設計
- コスト、パフォーマンス、処理時間を最適化する改善策の特定
- データプラットフォームを発展させるための新技術とベストプラクティスの評価
応募要件
- システム工学、産業工学、電子工学、メカトロニクス工学または関連分野の学位
- データエンジニアとして3~5年の経験
- 高度なSQLスキル
- PythonまたはScalaの実務経験
- PySparkを使用した分散処理の経験
- Azure Databricksの経験
- Azure Data Factoryの経験
- Azure Data Lake Storage Gen2(ADLS Gen2)の経験
- Delta Lakeの知識
- Lakehouseアーキテクチャの経験
- Medallionアーキテクチャの知識
- ディメンショナルモデリングの経験
- リレーショナルデータベースの経験
- NoSQLデータベースの経験
- データガバナンスとデータ品質に関する知識
- Unity Catalogの経験
- Delta Live Tables(DLT)の経験
- Great Expectationsの知識
- Event Hubsを使用したストリーミング処理の経験
- Azure DevOpsおよびGitの経験
- Entra IDの知識
- RBACの知識
- Power BIのスキル
- Visual Studio Codeのスキル
- データ統合およびETL/ELTプロセスの経験
- データ分析とモデリングの経験
- Azure Data Engineering認定資格があれば尚可
- 人工知能および機械学習プロジェクトの経験があれば尚可
- DataOpsおよびデータプラットフォーム自動化の知識があれば尚可
福利厚生
- 柔軟な勤務時間
- リモートワーク
- 個別のキャリア開発計画
- 研修プログラム
- 学際的なチームでの業務
- 多様性に富むグローバルチーム
- 業界をリードするクライアントとの影響力の大きいプロジェクト









