
シニアデータエンジニア - ロンドンハイブリッド
73 Stringsのプライベートキャピタル評価プラットフォーム向けに、Azureのデータパイプラインとデータウェアハウスの設計・運用をリードします。 データ取り込み、変換、品質、CI/CD、顧客へのデータ提供を担います。
仕事内容
- データ取り込み、処理、提供を横断するプラットフォームアーキテクチャを設計する
- データベース、API、イベントストリーム、半構造化データからのバッチおよびストリーミングパイプラインを構築・運用する
- 順序付け、削除、リプレイ、緩やかに変化するディメンションに対応した変更データキャプチャと増分ロードを実装する
- メダリオンレイヤーのデータセットとディメンショナルデータモデルを作成する
- Snowflake、Microsoft SQL Server、Databricksへデータを提供する
- 公開前にデータ契約、照合、行レベルの隔離を徹底する
- テスト、コードレビュー、環境昇格、Infrastructure as Codeによるデプロイを含むGitHubワークフローとCI/CDを管理する
- 本番環境のデータ障害を診断・解決する
- プロダクト、評価、顧客チームの要件を信頼性の高い運用パイプラインに変換する
応募要件
- 本番データシステムのエンジニアリング経験10年以上
- 主要プラットフォームとしてSnowflakeまたはDatabricksを扱った実務経験(データモデリング、パフォーマンスチューニング、コスト管理を含む)
- パイプラインの開発・テストに必要な、PythonとSQLの高いスキル
- 順序付け、リプレイ、スキーマ進化を含む変更データキャプチャとイベント処理の経験
- Databricks、ADLS、プライベートネットワーク接続を含むAzureの実務経験
- GitHubとCI/CDを使用したデータワークロード管理の経験(GitHub Actionsまたは同等のシステム)
- データ品質、照合、モニタリング、本番インシデント対応の経験
- テナント分離、アクセス制御、データ保護を備えた安全なマルチテナントデータプラットフォームの構築経験
- 顧客の技術チームと直接協働し、フィールドエンジニアリング、プロダクト、その他のステークホルダーと連携できること
- 歓迎:Databricks Lakeflow、Auto CDC、Declarative Automation Bundles、DQXの経験、またはSnowflakeのDynamic Tables、Streams and Tasks、Snowpark、Snowflake CLIデプロイ、Data Metric Functionsなどの同等機能の経験
- 歓迎:Debezium、Kafka Connect、Confluent Kafkaの経験
- 歓迎:Apache Airflowまたは同等のワークフローオーケストレーターの経験
- 歓迎:KafkaまたはSpark Structured Streaming、Apache IcebergまたはDelta Sharing、dbtの経験
- 歓迎:評価、ファンド、ポートフォリオ企業、資本活動などのプライベートマーケットデータに関する経験
福利厚生
- 支援的な職場環境
- イノベーションとコラボレーションを重視する文化
- 主体性を持って責任を担える環境
- 継続的に学べる機会




