
Scicom Infrastructure Servicesは、公共部門および民間企業のIT環境の管理・改善を支援する、テクノロジーコンサルティングおよびサービス企業です。企業業績管理、アーキテクチャ、プロジェクト管理、インフラストラクチャとアプリケーションの管理、マネージドサービスなどを手がけています。また、AppDynamics、BigPanda、Datadog、AWSと連携し、パフォーマンス監視、イベントの相関分析と自動化、クラウド監視、ITサービス管理に取り組んでいます。Scicomは、グローバルなインフラストラクチャの運用を24時間体制で支援します。会社紹介では、エンタープライズ、SaaS、B2Bテクノロジーに携わるチームとして説明されています。職種や採用情報については、現在の募集をご確認ください。
Databricksデータエンジニア、OCDSデータ契約
大規模なDatabricksプログラムで、調達関係者とエンジニアリングチームをつなぎ、データ契約を定義します。 OCDSに準拠したパイプラインと管理策を構築し、信頼性の高い標準化された契約データを実現します。
仕事内容
- 大規模なDatabricks導入において、業務、契約、ガバナンス、エンジニアリングの各チームをつなぎます。
- 調達、プログラム、分析、ガバナンス、技術分野の関係者と要件ワークショップを主導します。
- データの提供者と利用者の交換方法を定めるデータ契約を作成、維持します。
- 業務ニーズをユーザーストーリー、受け入れ基準、プロセスフロー、マッピング、インターフェース仕様、エンジニアリング要件に落とし込みます。
- ソースシステムを分析し、データプロファイルを作成してギャップを評価し、ソースフィールドをターゲット構造にマッピングします。
- 現在の調達データをOCDSが求める構造と比較します。
- データ所有者、提供者、利用者、アーキテクト、ガバナンスチームの合意形成を支援します。
- データモデリングから実装、テスト、受け入れまで要件を追跡します。
- 変更案がデータ製品、レポート、連携、分析ユースケースに与える影響を評価します。
- バックログレビュー、スプリント計画、デモ、テスト、関係者による受け入れの準備と実施を支援します。
- 計画から実装まで、調達データおよび公共契約データにOCDSを適用します。
- OCDSのリリース、レコード、パッケージ、識別子、組織、関係者、品目、マイルストーン、文書、取引、修正、および関連要素のマッピングを維持します。
- OCDSのスキーマ、コードリスト、検証ルール、実装ガイダンスを使用します。
- OCDS拡張が必要な場合を特定し、関連する前提、ルール、マッピング、例外、拡張内容を記録します。
- 取引リリースから契約レコードを構築し、修正、更新、取消、訂正、履歴上の変更の扱いを定義します。
- 変換後のデータをOCDS JSONスキーマで検証し、不足、不正、一貫性のない、または準拠していない調達データを修正します。
- 標準化された契約データの公開、交換、分析、社内利用を可能にします。
- Apache Spark、PySpark、Python、SQLを使用してDatabricksパイプラインを構築、テスト、維持します。
- JSON、CSV、XML、Parquet、データベース、API、ファイルから構造化および半構造化された調達データを取り込み、変換します。
- メダリオンアーキテクチャでBronze、Silver、Goldレイヤーを作成します。
- 正規化、ディメンショナル、分析用、およびOCDSベースのデータモデルを開発します。
- Delta Lakeを使ってスキーマを適用、進化させ、バージョンを管理し、監査を支援し、データを確実に処理します。
- ソースの調達データをOCDS互換の出力に変換する再利用可能な方法を作成します。
- バッチおよび増分データ取り込みを構築します。
- Workflows、ノートブック、ジョブ、Auto Loader、Delta Live Tables、Lakeflowなど、適切なDatabricksツールを使用します。
- ソースデータの取り込みと下流へのデータ配信のためにREST API接続を構築します。
- データ品質、照合、完全性、準拠性のチェックを自動化します。
- メタデータ、所有権、リネージ、アクセス制御、データ探索を管理するUnity Catalogの導入を支援します。
- Sparkジョブ、SQLクエリ、クラスター、パーティション、ファイルサイズ、データレイアウトを改善します。
- コードレビュー、自動テスト、CI/CD、デプロイ、監視、本番環境のサポートに貢献します。
- パイプライン障害、データ不一致、パフォーマンス問題を診断します。
- データの正確性、完全性、妥当性、適時性、一貫性、一意性について測定可能なルールを定めます。
- OCDSのフィールド、識別子、日付、金額、通貨、組織、分類、契約関係の検証管理策を作成します。
- データ契約への準拠状況とデータ品質の結果を示すダッシュボードやレポートを作成します。
- スキーマドリフトを検出し、管理する方法を整備します。
- Databricksでの変換から下流の製品まで、調達データのリネージを追跡します。
- ガバナンスチームと連携し、所有者、データスチュワード、分類、保持、アクセス方針を定義します。
- セキュリティとプライバシー要件に従い、機密性の高い調達データとサプライヤーデータを扱います。
- 文書化されたルール、バージョン管理されたマッピング、検証結果、変更履歴を用いて監査証跡を維持します。
応募要件
- コンピューターサイエンス、情報システム、データ分析、ビジネス分析、工学、行政、サプライチェーン管理、または関連分野の学士号。
- データエンジニアリング、データ分析、ビジネス分析、データ統合の合計で5年以上の経験。
- Open Contracting Data Standard(OCDS)の実装または利用に関する実務経験。
- データ契約の作成、文書化、交渉、維持の経験。
- 調達または契約データをOCDSスキーマにマッピングした経験。
- OCDSのリリース、レコード、スキーマ、コードリスト、識別子、契約段階、検証方法に関する深い知識。
- Databricksの実務経験3年以上。
- Apache Spark、PySpark、Python、SQL、Delta Lake、ETL/ELTパイプライン、データモデリング、JSONおよびJSON Schema、REST API、データ品質検証、ソースからターゲットへのマッピングに関する高いスキル。
- 要件を引き出し、実行可能なエンジニアリング仕様に変換した経験。
- 技術系と非技術系のパートナー双方と明確にコミュニケーションできること。
- ユーザーストーリー、受け入れ基準、業務ルール、データ辞書、インターフェース仕様、プロセス文書の作成経験。
- 高い分析力、トラブルシューティング力、ファシリテーション力、文書作成力。
- アジャイルチームで業務を遂行した経験。
- 歓迎:政府調達、公共部門の契約、助成金、調達、サプライヤー、または財務データの経験。
- 歓迎:OCDS拡張の構築、または組織のニーズに応じたOCDSの適用経験。
- 歓迎:調達分類、組織識別子、入札、落札、修正、マイルストーン、取引、契約実施への知識。
- 歓迎:Databricks Certified Data Engineer AssociateまたはProfessional資格。
- 歓迎:Unity Catalog、Delta Live Tables、Lakeflow、Databricks Workflows、Structured Streaming、クラウドサービス、Azure Data Factory、ADLS Gen2、AWS Glue、Amazon S3、Snowflake、dbt、Kafka、Airflow、Power BI、JSON Schemaバリデーター、自動データ品質フレームワーク、メタデータまたはマスターデータ管理、リネージ、参照データガバナンス、CI/CD、Git、Azure DevOps、GitHub Actions、Jenkins、Terraformのいずれかに関する経験。
- 歓迎:連邦、州、地方自治体、または規制対象企業の大規模データプログラムへの参加経験。
- 歓迎:連邦政府の調達、購買、報告、透明性、オープンデータ要件に関する知識。
- エンジニアリングとビジネス分析の両方の議論に参加できること。
- データ契約と、提供者および利用者の責任に関する深い理解。
- 複雑な調達プロセスを明確なデータ構造と変換ルールに落とし込めること。
- スキーマ、コードリスト、業務定義、検証要件を慎重に解釈できること。
- 関係者のファシリテーションと対立解決に優れていること。
- エンジニアリング上の欠陥につながる前に、ギャップや曖昧さを発見できること。
- 文書化、追跡可能性、ガバナンス、データ品質を重視すること。
- 大規模で多分野にわたるDatabricksチームで効果的に働けること。
福利厚生
- 求人情報には福利厚生、手当、追加報酬の記載がありません。
関連求人
求人が見つかりません
フィルターを調整またはクリアして、他の求人を探してみてください。