Scicom Infrastructure Services
Scicom Infrastructure Services
11 – 50 Çalışanlar
H1B Vizesi SponsoruB2BKurumsalSaaS
Scicom Infrastructure Services, kamu ve özel sektör kuruluşlarının BT ortamlarını yönetmelerine ve geliştirmelerine yardımcı olan bir teknoloji danışmanlığı ve hizmet şirketidir. Çalışmaları; kurumsal performans yönetimi, mimari, proje yönetimi, altyapı ve uygulama yönetimi ile yönetilen hizmetleri kapsar. Şirket ayrıca performans izleme, olay ilişkilendirme ve otomasyon, bulut izleme ve BT hizmet yönetimi alanlarında AppDynamics, BigPanda, Datadog ve AWS ile çalışır. Scicom, küresel altyapılar için günün her saati operasyonel destek sağlar. Şirket profili, kurumsal, SaaS ve B2B teknolojileri alanlarında çalışan bir ekibi tanımlar; pozisyonlar ve işe alım hakkında ayrıntılar için güncel ilanları inceleyin.

Databricks Veri Mühendisi, OCDS Veri Sözleşmeleri

Büyük ölçekli bir Databricks programında tedarik paydaşlarıyla mühendislik ekiplerini buluşturarak veri sözleşmelerini tanımlayın. OCDS uyumlu işlem hatları ve kontrollerle güvenilir, standartlaştırılmış sözleşme verileri oluşturun.

Açıklama

  • Büyük ölçekli bir Databricks uygulamasında iş, sözleşme, yönetişim ve mühendislik ekiplerini bir araya getirin.
  • Tedarik, program, analitik, yönetişim ve teknik paydaşlarla gereksinim çalıştaylarına liderlik edin.
  • Veri üreticileriyle tüketicilerinin veriyi nasıl paylaşacağını tanımlayan veri sözleşmeleri oluşturun ve sürdürün.
  • İş ihtiyaçlarını kullanıcı hikâyelerine, kabul ölçütlerine, süreç akışlarına, eşleştirmelere, arayüz tanımlarına ve mühendislik gereksinimlerine dönüştürün.
  • Kaynak sistemleri analiz edin, verilerin profilini çıkarın, boşlukları değerlendirin ve kaynak alanları hedef yapılara eşleyin.
  • Mevcut tedarik verilerini OCDS'nin gerektirdiği yapılarla karşılaştırın.
  • Veri sahiplerini, üreticilerini, tüketicilerini, mimarları ve yönetişim ekiplerini uzlaşmaya vardırın.
  • Gereksinimleri veri modelleme, uygulama, test ve kabul aşamalarında takip edin.
  • Önerilen değişikliklerin veri ürünlerini, raporları, entegrasyonları ve analitik kullanım örneklerini nasıl etkilediğini değerlendirin.
  • İş listesi gözden geçirmelerinin, sprint planlamasının, demoların, testlerin ve paydaş kabulünün hazırlanmasına ve yürütülmesine yardımcı olun.
  • Planlamadan uygulamaya kadar tedarik ve kamu sözleşmesi verilerine OCDS'yi uygulayın.
  • OCDS sürümleri, kayıtları, paketleri, tanımlayıcıları, kuruluşları, tarafları, kalemleri, kilometre taşlarını, belgeleri, işlemleri, değişiklikleri ve ilgili öğeler için eşleştirmeleri sürdürün.
  • OCDS şemalarını, kod listelerini, doğrulama kurallarını ve uygulama kılavuzlarını kullanın.
  • OCDS uzantılarına ne zaman ihtiyaç duyulduğunu belirleyin; ilgili varsayımları, kuralları, eşleştirmeleri, istisnaları ve uzantıları kaydedin.
  • İşlemsel yayımlardan sözleşme kayıtları oluşturun; değişikliklerin, güncellemelerin, iptallerin, düzeltmelerin ve geçmiş değişikliklerin nasıl ele alınacağını tanımlayın.
  • Dönüştürülen verileri OCDS JSON şemalarına göre denetleyin; eksik, geçersiz, tutarsız veya standarda uymayan tedarik verilerini düzeltin.
  • Standartlaştırılmış sözleşme verilerinin yayımlanmasını, paylaşılmasını, analizini veya kurum içinde kullanılmasını sağlayın.
  • Apache Spark, PySpark, Python ve SQL kullanarak Databricks işlem hatları oluşturun, test edin ve sürdürün.
  • JSON, CSV, XML, Parquet, veritabanları, API'ler ve dosyalardaki yapılandırılmış ve yarı yapılandırılmış tedarik verilerini alın ve dönüştürün.
  • Madalyon mimarisini kullanarak Bronze, Silver ve Gold katmanları oluşturun.
  • Normalize edilmiş, boyutsal, analitik ve OCDS tabanlı veri modelleri geliştirin.
  • Şemaları zorunlu kılmak ve geliştirmek, sürümleri yönetmek, denetimleri desteklemek ve verileri güvenilir biçimde işlemek için Delta Lake kullanın.
  • Kaynak tedarik verilerini OCDS ile uyumlu çıktılara dönüştürmek için yeniden kullanılabilir yöntemler oluşturun.
  • Hem toplu hem de artımlı veri alımı süreçleri kurun.
  • Workflows, not defterleri, işler, Auto Loader, Delta Live Tables veya Lakeflow gibi uygun Databricks araçlarını kullanın.
  • Kaynaklardan veri almak ve verileri sonraki sistemlere aktarmak için REST API bağlantıları kurun.
  • Veri kalitesi, mutabakat, bütünlük ve uygunluk kontrollerini otomatikleştirin.
  • Meta veriler, sahiplik, veri kökeni, erişim denetimleri ve veri keşfi için Unity Catalog uygulamasına yardımcı olun.
  • Spark işlerini, SQL sorgularını, kümeleri, bölümlemeyi, dosya boyutlarını ve veri yerleşimlerini iyileştirin.
  • Kod incelemelerine, otomatik testlere, CI/CD süreçlerine, dağıtımlara, izlemeye ve üretim desteğine katkıda bulunun.
  • İşlem hattı hatalarını, veri uyuşmazlıklarını ve performans sorunlarını teşhis edin.
  • Veri doğruluğu, bütünlüğü, geçerliliği, güncelliği, tutarlılığı ve benzersizliği için ölçülebilir kurallar belirleyin.
  • OCDS alanları, tanımlayıcılar, tarihler, tutarlar, para birimleri, kuruluşlar, sınıflandırmalar ve sözleşme ilişkileri için doğrulama kontrolleri oluşturun.
  • Veri sözleşmesi uyumluluğu ve veri kalitesi sonuçları hakkında panolar veya raporlar hazırlayın.
  • Şema değişimlerini tespit etmek ve yönetmek için yöntemler kurun.
  • Tedarik verilerinin Databricks dönüşümlerinden sonraki ürünlere kadar olan veri kökenini izleyin.
  • Sahipleri, veri sorumlularını, sınıflandırmaları, saklama sürelerini ve erişim politikalarını tanımlamak için yönetişim ekipleriyle çalışın.
  • Hassas tedarik ve tedarikçi verilerini güvenlik ve gizlilik gereksinimlerine uygun biçimde işleyin.
  • Belgelenmiş kurallar, sürümlenmiş eşleştirmeler, doğrulama sonuçları ve değişiklik geçmişleriyle denetim izlerini koruyun.

Gereksinimler

  • Bilgisayar bilimi, bilgi sistemleri, veri analitiği, iş analizi, mühendislik, kamu yönetimi, tedarik zinciri yönetimi veya ilgili bir alanda lisans derecesi.
  • Veri mühendisliği, veri analizi, iş analizi veya veri entegrasyonu alanlarında toplam en az beş yıllık deneyim.
  • Open Contracting Data Standard'ı (OCDS) uygulama veya kullanma konusunda pratik deneyim.
  • Veri sözleşmeleri oluşturma, belgeleme, müzakere etme veya sürdürme deneyimi.
  • Tedarik veya sözleşme verilerini OCDS şemalarına eşleme deneyimi.
  • OCDS sürümlerine, kayıtlarına, şemalarına, kod listelerine, tanımlayıcılarına, sözleşme aşamalarına ve doğrulama yöntemlerine güçlü düzeyde hâkimiyet.
  • Databricks ile en az üç yıllık uygulamalı deneyim.
  • Apache Spark, PySpark, Python, SQL, Delta Lake, ETL/ELT işlem hatları, veri modelleme, JSON ve JSON Schema, REST API'ler, veri kalitesi doğrulaması ve kaynaktan hedefe eşleme konularında güçlü beceriler.
  • Gereksinimleri ortaya çıkarma ve bunları uygulanabilir mühendislik tanımlarına dönüştürme deneyimi.
  • Teknik ve teknik olmayan paydaşlarla açık iletişim kurabilme.
  • Kullanıcı hikâyeleri, kabul ölçütleri, iş kuralları, veri sözlükleri, arayüz tanımları ve süreç belgeleri hazırlama deneyimi.
  • Güçlü analiz, sorun giderme, kolaylaştırıcılık ve belgeleme becerileri.
  • Çevik ekiplerde çalışma deneyimi.
  • Tercihen kamu tedariki, kamu sektörü sözleşmeleri, hibeler, satın alma, tedarikçi veya finansal veriler alanında geçmiş.
  • Tercihen OCDS uzantıları oluşturma veya OCDS'yi kurumsal ihtiyaçlara uyarlama deneyimi.
  • Tercihen tedarik sınıflandırmaları, kuruluş tanımlayıcıları, ihaleler, ödüller, değişiklikler, kilometre taşları, işlemler ve sözleşme uygulamalarına aşinalık.
  • Tercihen Databricks Certified Data Engineer Associate veya Professional sertifikası.
  • Tercihen Unity Catalog, Delta Live Tables, Lakeflow, Databricks Workflows, Structured Streaming, bulut hizmetleri, Azure Data Factory, ADLS Gen2, AWS Glue, Amazon S3, Snowflake, dbt, Kafka, Airflow, Power BI, JSON Schema doğrulayıcıları, otomatik veri kalitesi çerçeveleri, meta veri veya ana veri yönetimi, veri kökeni, referans verisi yönetişimi, CI/CD, Git, Azure DevOps, GitHub Actions, Jenkins veya Terraform deneyimi.
  • Tercihen büyük ölçekli federal, eyalet, yerel yönetim veya düzenlemeye tabi kurumsal veri programlarına katkıda bulunma deneyimi.
  • Tercihen federal satın alma, tedarik, raporlama, şeffaflık veya açık veri gereksinimlerine aşinalık.
  • Hem mühendislik hem de iş analizi tartışmalarına katkıda bulunabilme.
  • Veri sözleşmelerini ve üretici-tüketici sorumluluğunu güçlü biçimde kavrama.
  • Karmaşık tedarik süreçlerini açık veri yapılarına ve dönüşüm kurallarına dönüştürebilme.
  • Şemaları, kod listelerini, iş tanımlarını ve doğrulama gereksinimlerini dikkatle yorumlama.
  • Güçlü paydaş kolaylaştırma ve çatışma çözümü becerileri.
  • Mühendislik kusurlarına dönüşmeden önce boşlukları ve belirsizlikleri saptayabilme.
  • Belgeleme, izlenebilirlik, yönetişim ve veri kalitesine bağlılık.
  • Büyük ve çok disiplinli bir Databricks ekibinde etkili biçimde çalışabilme.

Yan Haklar

  • İlan, yan haklar, ek avantajlar veya ek ücret hakkında bilgi belirtmiyor.

İlgili İş İlanları

İş ilanı bulunamadı

Daha fazla fırsat bulmak için filtreleri ayarlamayı veya temizlemeyi deneyin.