Brillioは、ヘルスケア、保険、物流、金融サービス、通信・メディア、ライフサイエンス、小売などの分野で、組織のデジタルトランスフォーメーションを支援するテクノロジーコンサルティング企業です。顧客体験、データとAI、生成AI、製品・プラットフォームエンジニアリング、インフラ、クラウド、セキュリティまで幅広い領域を手がけています。エンジニアリングの専門知識と業界知識を組み合わせてデジタル製品を開発し、テクノロジー環境を modernize することで、企業が変化する市場や技術のニーズに対応できるよう支援しています。
Brillio ハイブリッド勤務データエンジニア――dbt と Snowflake
Brillioでデータエンジニアとして、価格設定ロジックをリバースエンジニアリングし、ガバナンスのあるSilver層のdbtモデルとして再構築します。 整合性を検証し、データリネージュを文書化するとともに、アナリストの承認後に従来のGold層定義を廃止します。
仕事内容
- 価格設定アナリストと協力し、Gold層の定義、計算、変換、依存関係、前提、エッジケース、曖昧な点を明らかにする
- アナリストのSQL、スプレッドシートの数式、アドホックな計算をリバースエンジニアリングし、意図された業務動作を確立する
- レガシーロジックを明確な技術要件と実行可能な移行計画に変換する
- 承認された価格設定定義を、ガバナンスのある再利用可能で文書化されたSilver層のdbtモデルとして構築する
- 確立されたデータモデリング、命名、テスト、バージョン管理、コードレビューの標準を適用する
- 文書化されていないアナリストの知識に依存しない、拡張性、保守性、監査性に優れたモデルを作成する
- dbtテストを実装し、一意性、NULL許容性、許容値、リレーション、業務ルールを検証する
- Silver層の出力を既存のGold層の結果と照合し、差異を調査する
- 代表的な期間、セグメント、境界条件、既知の例外を対象に移行結果をテストする
- 整合性レビューと価格設定アナリストの承認を経て移行を完了する
- 価格設定アナリストと協力して計算を明確化し、意図された動作を確認し、期待される結果について合意する
- レガシー定義を廃止する前にウォークスルーとレビューを実施し、アナリストの承認を記録する
- リスク、未解決の質問、依存関係、決定事項について、技術および業務の関係者に常に情報を共有する
- dbtとConfluenceに、業務の背景、計算ルール、前提、例外、入力、所有者、リネージュ、テスト、下流の利用者を記録する
- Silver層の置き換えが検証・承認・導入され、下流の依存関係が更新された後に、アドホックなGold層ロジックを廃止する
- 廃止したロジックが使用されていないことを確認し、新しい唯一の正しい情報源を反映するよう運用文書を更新する
応募要件
- 分析用データプラットフォームにおけるデータエンジニアリング経験5～8年
- 結合、ウィンドウ関数、CTE、集計、条件ロジック、最適化を含む高度なSQLスキル
- モデル、テスト、ドキュメント、リネージュを含む実務的なdbt経験
- データモデリング、パフォーマンスチューニング、データウェアハウスの概念を含むSnowflakeの深い知識
- 複雑な分析ロジックのリファクタリング、移行、モダナイゼーションの経験
- アドホックなSQLやスプレッドシート計算を解釈し、その出力を検証できる能力
- データ品質、照合、テスト、リリース管理に関する深い理解
- エンジニアリング以外の関係者と協力し、要件を明確化して結果を検証できる能力
- 明確なコミュニケーション能力と規律ある文書化の習慣
- Pythonの経験があれば尚可
- Airflow、Confluence、Jira、Slackの使用経験
- データモデリング、品質検証、照合、移行計画、関係者との協業、技術文書作成にまたがる経験