Derevoは、組織がデータをビジネスインテリジェンスへと活用できるよう支援する、データ分析およびデジタルトランスフォーメーション企業です。データの生成・統合から分析・共有まで、分析の全ライフサイクルにわたる業務に加え、データドリブンな企業文化の構築にも取り組んでいます。さまざまな業界向けの分析ソリューションにAIと機械学習を活用し、グローバルチームによるニアショア型の提供体制で、特に米国とカナダの顧客にサービスを提供しています。10年以上の経験を持ち、テクノロジープロバイダーと連携して、データを活用した変革を支援します。チームはコンサルティング、物流、マーケティングの各分野で活動しており、全社で採用を行っています。
シニアデータエンジニア（Microsoft Fabric）
Microsoft Fabricのアーキテクチャ、レイクハウス、データパイプラインを構築し、DerevoのデータおよびAIソリューションを支えます。 大規模データを洞察に変え、ビジネス上の意思決定に役立てます。
仕事内容
- 高品質な最新のデータアーキテクチャを構築、実装する
- ビッグデータ技術を用いて分析ソリューションを開発する
- 並列処理システムを設計、保守、最適化する
- データウェアハウス、データレイク、レイクハウスの保存と管理に関するベストプラクティスを適用する
- 大量のデータを収集、処理、クレンジングし、オーケストレーションする
- 複数の構造化および半構造化ソースからデータを統合、変換する
- ビジネス目標に沿った技術戦略を策定する
- プロジェクトとスプリントに参加し、開発業務を遂行する
- 要件を特定し、範囲を定義する
- スプリント計画、エンジニアリングセッション、ワークショップ、社内チームやクライアントとの会議に参加する
- アジャイル手法を用いてタスクを分類し、見積もる
- スプリントの進捗を毎日確認する
- 納期を守り、遅延を速やかに共有してリスクを管理する
応募要件
- 高度な英語力
- DDL、DML、サブクエリ、CTE、複数テーブル結合、集計、ウィンドウ関数、ストアドプロシージャ、インデックス最適化、統計情報、実行プランを含むT-SQLおよびSpark SQLの高い習熟度
- オブジェクト指向プログラミング、データ構造、制御フロー、データ取り込み、DataFrame、UDF、時間ウィンドウ、パーティション、PEP 8、モジュール化を含むPython（PySpark）の高いスキル
- パイプラインのオーケストレーション、CI/CDデプロイ、動的なパラメーター設定、成果物管理にJSONおよびREST APIを使用した経験
- Microsoft Fabric、Lakehouse、OneLake、Delta Lake、およびACID準拠のDeltaテーブルに関する知識
- パーティショニング、OPTIMIZE、Z-ORDER、タイムトラベルに関する知識
- データウェアハウス（Synapse Analytics）、プロビジョニング済みおよびサーバーレスSQLクラスター、スター型およびスノーフレーク型スキーマ、トランザクションT-SQL、分離レベル、自動スケーリングに関する知識
- Azure DevOpsまたはGitHub Actionsを用いたCI/CDおよびライフサイクル管理の経験
- データセットの単体テスト、スキーマ検証、自動成果物デプロイに関する知識
- Monitor HubとActivator、メトリクスダッシュボード、プロアクティブなアラート、自動ランブックに関する知識
- リアルタイムイベントの取り込み、処理ウィンドウ、増分集計に用いるEventstreamsとEventhouseに関する知識
- データセキュリティとガバナンス、ロールと権限、行レベルおよび列レベルのセキュリティ、動的データマスキング、監査に関する知識
- Azure Data Factoryの一般的な知識があれば尚可
- 高いコミュニケーション力、Squad単位のチームワーク、主体性、協調性、継続的な学習姿勢、責任感、計画性、データコンサルティング力、要件管理力、クライアントに沿った戦略立案力、クライアントへのプレゼンテーション力
福利厚生
- 法定福利厚生および追加福利厚生
- さまざまな分野や技術の専門性を高める機会
- 分野横断的な成長と新たな挑戦
- 創造のための余地、信頼、自由がある環境
- 必要な研修
- 多国籍企業のクライアント向け最先端技術プロジェクトへの参加
- 柔軟なリモートワーク
- 業務に必要な機器
- 社内コミュニケーションツール
