Vultrは、開発者や企業向けに、オンデマンドのコンピューティング、ストレージ、ネットワーク、データベースサービスを提供するグローバルなクラウドインフラストラクチャ企業です。同社のプラットフォームには、仮想マシン、ベアメタルサーバー、GPUアクセラレーションインフラストラクチャ、マネージドデータベース、オブジェクトストレージとブロックストレージ、Kubernetes、デプロイ可能なマーケットプレイスアプリケーションが含まれます。AMDおよびNVIDIA GPUへの対応、高速ネットワーク、32を超えるデータセンターリージョンに展開されたインフラストラクチャを備え、開発者向けAPIとスケーラブルなクラウドツールを通じて、ソフトウェア、人工知能、高性能コンピューティングのワークロードに対応しています。
シニアデータエンジニア、BigQuery
Vultrのグローバルなクラウドインフラ基盤向けに、信頼性の高いBigQueryパイプラインとガバナンスされたデータセットを構築します。 エンジニアリング、ビジネスインテリジェンス、データサイエンスの各チームと連携し、全社的な分析を支援します。
仕事内容
- 必要に応じて増分ロードや変更データキャプチャを用い、BigQueryへの運用データパイプラインを構築・保守します。
- 共有ビジネスエンティティやレポート指標を含む、ブロンズ、シルバー、ゴールドのデータセットを作成します。
- ソースシステムとターゲットデータセット間のデータ検証と照合を自動化します。
- 更新、削除、過去のソースデータ修正を下流のデータセットに反映します。
- パイプラインの健全性を監視し、例外やスキーマ変更に対応するとともに、復旧手順とデータリネージを文書化します。
- ビジネスインテリジェンスおよびデータサイエンスチームと協力し、文書化された高性能なデータセットを提供します。
- エンジニアリングチームや業務システムの責任者と連携し、ソースデータの不足を解消して信頼性の高いデータ引き渡しを定義します。
- 合意されたエンタープライズアーキテクチャの範囲内で、テスト、デプロイ、セキュリティ、コスト管理のエンジニアリング標準を定めて実施します。
- 既存のパイプラインを見直し、再現可能なエンジニアリングの実践を確立します。
- 優先度の高いレポートニーズに対応する本番データセットを提供します。
- 初期段階のデータ品質管理と監視を導入します。
- 過去のソースデータ修正が下流のレポートに正確に反映されていることを確認します。
応募要件
- データエンジニアリングの実務経験が5年以上あり、本番パイプラインを担当した経験があること。
- 高度なSQLスキルと高いPythonスキル。
- BigQueryの本番環境での経験。パーティショニング、クラスタリング、クエリ性能、コスト管理を含みます。
- dbt、Airflow、Cloud Composer、Dagsterなど、または同等のデータ変換・オーケストレーションツールの経験。
- 運用データベースからのデータ抽出、および増分ロード、更新、削除、バックフィル、過去データの修正管理の経験。
- ディメンショナルモデリングと過去データの追跡に関する深い理解。
- 自動データ品質チェック、照合、監視、アラート、復旧の経験。
- Git、コードレビュー、自動テスト、CI/CDの経験。
- エンジニアリング、分析、ビジネス各チームと協働できること。
- MySQL、ClickHouse、Kafka、Google Pub/Subのいずれかの経験。
- Parquet、ストレージ効率、SparkまたはPySparkに関する知識。
- アプリケーションコードやORMを通じてデータ定義とビジネスロジックを追跡できること。PHPの知識があれば尚可。
- Salesforce、NetSuite、Power BI、または同等システムの経験。
- IAM、サービスアカウント、最小権限アクセス、安全なワークロード認証に関する知識。
- メタデータ、リネージ、データオブザーバビリティツールの経験。
- パイプライン運用、インシデント調査、またはLLMアプリケーション向けのガバナンスされたデータアクセスにAIや自動化を適用した経験。
- クラウドインフラ、通信、データセンター、またはその他の資産集約型環境での経験。
福利厚生
- 会社が従業員の医療、歯科、視力保険料を全額負担します。
- 401(k)は拠出額の100%を会社がマッチングし、上限は給与の4%です。権利は直ちに確定します。
- 年間2,500ドルまでの専門能力開発費用を補助します。
- 祝日休暇11日、累積型の有給休暇、繰り越し制度があります。
- 勤続3周年および10周年に追加の有給休暇があります。
- 5年ごとに1か月の有給サバティカル休暇があります。
- 毎年の勤続記念ボーナスがあります。
- リモート勤務のオフィス設備手当として、初年度500ドル、以降は毎年400ドルを支給します。
- インターネット費用を月額75ドルまで補助します。
- ジム会費を月額50ドルまで補助します。
- Wellableのサブスクリプションを会社が負担します。