Scicom Infrastructure Services
Scicom Infrastructure Services
Scicom Infrastructure Servicesは、公共部門および民間企業のIT環境の管理・改善を支援する、テクノロジーコンサルティングおよびサービス企業です。企業業績管理、アーキテクチャ、プロジェクト管理、インフラストラクチャとアプリケーションの管理、マネージドサービスなどを手がけています。また、AppDynamics、BigPanda、Datadog、AWSと連携し、パフォーマンス監視、イベントの相関分析と自動化、クラウド監視、ITサービス管理に取り組んでいます。Scicomは、グローバルなインフラストラクチャの運用を24時間体制で支援します。会社紹介では、エンタープライズ、SaaS、B2Bテクノロジーに携わるチームとして説明されています。職種や採用情報については、現在の募集をご確認ください。

Databricksデータエンジニア、OCDSデータ契約

大規模なDatabricksプログラムで、調達関係者とエンジニアリングチームをつなぎ、データ契約を定義します。 OCDSに準拠したパイプラインと管理策を構築し、信頼性の高い標準化された契約データを実現します。

仕事内容

  • 大規模なDatabricks導入において、業務、契約、ガバナンス、エンジニアリングの各チームをつなぎます。
  • 調達、プログラム、分析、ガバナンス、技術分野の関係者と要件ワークショップを主導します。
  • データの提供者と利用者の交換方法を定めるデータ契約を作成、維持します。
  • 業務ニーズをユーザーストーリー、受け入れ基準、プロセスフロー、マッピング、インターフェース仕様、エンジニアリング要件に落とし込みます。
  • ソースシステムを分析し、データプロファイルを作成してギャップを評価し、ソースフィールドをターゲット構造にマッピングします。
  • 現在の調達データをOCDSが求める構造と比較します。
  • データ所有者、提供者、利用者、アーキテクト、ガバナンスチームの合意形成を支援します。
  • データモデリングから実装、テスト、受け入れまで要件を追跡します。
  • 変更案がデータ製品、レポート、連携、分析ユースケースに与える影響を評価します。
  • バックログレビュー、スプリント計画、デモ、テスト、関係者による受け入れの準備と実施を支援します。
  • 計画から実装まで、調達データおよび公共契約データにOCDSを適用します。
  • OCDSのリリース、レコード、パッケージ、識別子、組織、関係者、品目、マイルストーン、文書、取引、修正、および関連要素のマッピングを維持します。
  • OCDSのスキーマ、コードリスト、検証ルール、実装ガイダンスを使用します。
  • OCDS拡張が必要な場合を特定し、関連する前提、ルール、マッピング、例外、拡張内容を記録します。
  • 取引リリースから契約レコードを構築し、修正、更新、取消、訂正、履歴上の変更の扱いを定義します。
  • 変換後のデータをOCDS JSONスキーマで検証し、不足、不正、一貫性のない、または準拠していない調達データを修正します。
  • 標準化された契約データの公開、交換、分析、社内利用を可能にします。
  • Apache Spark、PySpark、Python、SQLを使用してDatabricksパイプラインを構築、テスト、維持します。
  • JSON、CSV、XML、Parquet、データベース、API、ファイルから構造化および半構造化された調達データを取り込み、変換します。
  • メダリオンアーキテクチャでBronze、Silver、Goldレイヤーを作成します。
  • 正規化、ディメンショナル、分析用、およびOCDSベースのデータモデルを開発します。
  • Delta Lakeを使ってスキーマを適用、進化させ、バージョンを管理し、監査を支援し、データを確実に処理します。
  • ソースの調達データをOCDS互換の出力に変換する再利用可能な方法を作成します。
  • バッチおよび増分データ取り込みを構築します。
  • Workflows、ノートブック、ジョブ、Auto Loader、Delta Live Tables、Lakeflowなど、適切なDatabricksツールを使用します。
  • ソースデータの取り込みと下流へのデータ配信のためにREST API接続を構築します。
  • データ品質、照合、完全性、準拠性のチェックを自動化します。
  • メタデータ、所有権、リネージ、アクセス制御、データ探索を管理するUnity Catalogの導入を支援します。
  • Sparkジョブ、SQLクエリ、クラスター、パーティション、ファイルサイズ、データレイアウトを改善します。
  • コードレビュー、自動テスト、CI/CD、デプロイ、監視、本番環境のサポートに貢献します。
  • パイプライン障害、データ不一致、パフォーマンス問題を診断します。
  • データの正確性、完全性、妥当性、適時性、一貫性、一意性について測定可能なルールを定めます。
  • OCDSのフィールド、識別子、日付、金額、通貨、組織、分類、契約関係の検証管理策を作成します。
  • データ契約への準拠状況とデータ品質の結果を示すダッシュボードやレポートを作成します。
  • スキーマドリフトを検出し、管理する方法を整備します。
  • Databricksでの変換から下流の製品まで、調達データのリネージを追跡します。
  • ガバナンスチームと連携し、所有者、データスチュワード、分類、保持、アクセス方針を定義します。
  • セキュリティとプライバシー要件に従い、機密性の高い調達データとサプライヤーデータを扱います。
  • 文書化されたルール、バージョン管理されたマッピング、検証結果、変更履歴を用いて監査証跡を維持します。

応募要件

  • コンピューターサイエンス、情報システム、データ分析、ビジネス分析、工学、行政、サプライチェーン管理、または関連分野の学士号。
  • データエンジニアリング、データ分析、ビジネス分析、データ統合の合計で5年以上の経験。
  • Open Contracting Data Standard(OCDS)の実装または利用に関する実務経験。
  • データ契約の作成、文書化、交渉、維持の経験。
  • 調達または契約データをOCDSスキーマにマッピングした経験。
  • OCDSのリリース、レコード、スキーマ、コードリスト、識別子、契約段階、検証方法に関する深い知識。
  • Databricksの実務経験3年以上。
  • Apache Spark、PySpark、Python、SQL、Delta Lake、ETL/ELTパイプライン、データモデリング、JSONおよびJSON Schema、REST API、データ品質検証、ソースからターゲットへのマッピングに関する高いスキル。
  • 要件を引き出し、実行可能なエンジニアリング仕様に変換した経験。
  • 技術系と非技術系のパートナー双方と明確にコミュニケーションできること。
  • ユーザーストーリー、受け入れ基準、業務ルール、データ辞書、インターフェース仕様、プロセス文書の作成経験。
  • 高い分析力、トラブルシューティング力、ファシリテーション力、文書作成力。
  • アジャイルチームで業務を遂行した経験。
  • 歓迎:政府調達、公共部門の契約、助成金、調達、サプライヤー、または財務データの経験。
  • 歓迎:OCDS拡張の構築、または組織のニーズに応じたOCDSの適用経験。
  • 歓迎:調達分類、組織識別子、入札、落札、修正、マイルストーン、取引、契約実施への知識。
  • 歓迎:Databricks Certified Data Engineer AssociateまたはProfessional資格。
  • 歓迎:Unity Catalog、Delta Live Tables、Lakeflow、Databricks Workflows、Structured Streaming、クラウドサービス、Azure Data Factory、ADLS Gen2、AWS Glue、Amazon S3、Snowflake、dbt、Kafka、Airflow、Power BI、JSON Schemaバリデーター、自動データ品質フレームワーク、メタデータまたはマスターデータ管理、リネージ、参照データガバナンス、CI/CD、Git、Azure DevOps、GitHub Actions、Jenkins、Terraformのいずれかに関する経験。
  • 歓迎:連邦、州、地方自治体、または規制対象企業の大規模データプログラムへの参加経験。
  • 歓迎:連邦政府の調達、購買、報告、透明性、オープンデータ要件に関する知識。
  • エンジニアリングとビジネス分析の両方の議論に参加できること。
  • データ契約と、提供者および利用者の責任に関する深い理解。
  • 複雑な調達プロセスを明確なデータ構造と変換ルールに落とし込めること。
  • スキーマ、コードリスト、業務定義、検証要件を慎重に解釈できること。
  • 関係者のファシリテーションと対立解決に優れていること。
  • エンジニアリング上の欠陥につながる前に、ギャップや曖昧さを発見できること。
  • 文書化、追跡可能性、ガバナンス、データ品質を重視すること。
  • 大規模で多分野にわたるDatabricksチームで効果的に働けること。

福利厚生

  • 求人情報には福利厚生、手当、追加報酬の記載がありません。

関連求人

求人が見つかりません

フィルターを調整またはクリアして、他の求人を探してみてください。