Coretek
Coretek
Coretek este un furnizor expert de servicii gestionate Microsoft Azure și o companie de consultanță în tehnologii cloud, care deservește organizații din administrație, sănătate, producție și servicii financiare. Activitatea sa acoperă migrarea în cloud, modernizarea aplicațiilor, automatizarea DevOps, gestionarea spațiilor de lucru, securitatea cibernetică și soluții de inteligență artificială dezvoltate cu Azure OpenAI și tehnologii de învățare automată. Coretek oferă, de asemenea, servicii de securitate și observabilitate utilizând platforme precum Palo Alto și Dynatrace, precum și prin parteneriate care includ Imprivata și Citrix. Echipa multidisciplinară a companiei ajută clienții să își modernizeze infrastructura, să își consolideze securitatea și să dezvolte capacități practice în cloud și inteligență artificială.

Inginer de date Azure — Muncă hibridă în India

Construiește și operează conducte de date Azure fiabile, pentru procesare batch și streaming, pentru Coretek. Dezvoltă modele de date guvernate, controale de calitate și fluxuri de producție care sprijină echipele de business și tehnice.

Descriere

  • Proiectează, construiește și întreține conducte de date batch și streaming idempotente, observabile și recuperabile
  • Creează modele de date analitice, inclusiv scheme dimensionale, straturi semantice și marturi de date curate
  • Conectează baze de date operaționale, API-uri SaaS, fișiere și fluxuri de evenimente, gestionând deriva schemelor și datele sosite cu întârziere
  • Integrează în conducte verificări pentru prospețimea, volumul, unicitatea și integritatea referențială a datelor
  • Stabilește proceduri de alertare și escaladare pentru eșecurile conductelor
  • Gestionează conductele de producție prin monitorizare, răspuns la incidente în regim de permanență, analiză a cauzei principale și reîncărcări
  • Îmbunătățește performanța și controlează costurile prin partiționare, clustering, dimensionarea fișierelor și dimensionarea depozitului de date sau a clusterului
  • Folosește controlul versiunilor, revizuirea codului, CI/CD, testarea automată și infrastructura ca cod
  • Aplică controale de acces, protecții pentru datele cu caracter personal, politici de retenție, trasabilitate și cerințe de audit împreună cu echipele de securitate și conformitate
  • Colaborează cu analiști, cercetători de date și ingineri de produs pentru a stabili contracte de date durabile
  • Menține actualizate dicționarele de date, înregistrările de trasabilitate și ghidurile operaționale ale conductelor

Cerințe

  • Cel puțin cinci ani de experiență în construirea conductelor de date pentru producție
  • Experiență practică solidă în Python pentru ingineria datelor, inclusiv testare, împachetare și revizuirea codului
  • Cunoștințe practice despre API-urile PySpark DataFrame și SQL, join-uri și agregări la scară largă, partiționare, comportamentul operațiilor de shuffle și diagnosticarea cu Spark UI
  • Competențe avansate de SQL, inclusiv funcții de fereastră, analiza planurilor de interogare și optimizarea performanței
  • Experiență practică cu Azure Data Factory, Databricks, Synapse sau Fabric și ADLS
  • Cunoștințe solide de modelare a datelor, inclusiv normalizare, scheme stea și dimensiuni cu modificare lentă
  • Experiență cu fluxuri de dezvoltare bazate pe Git și livrare CI/CD
  • Abilități excelente de comunicare, inclusiv capacitatea de a explica problemele conductelor părților interesate non-tehnice
  • Capacitate analitică și de rezolvare a problemelor excepțională, inclusiv analizarea cauzei principale
  • Experiență solidă în lucrul cu clienții într-un mediu tehnic de consultanță
  • Experiență cu date de streaming folosind Kafka sau Event Hubs
  • Experiență în utilizarea Delta Lake sau Iceberg
  • Experiență cu Terraform sau Bicep pentru infrastructură ca cod și cu Docker sau Kubernetes pentru containerizare
  • Experiență de lucru în medii reglementate care implică HIPAA, SOC 2, PCI sau GDPR
  • Experiență în construirea platformelor de date pentru învățare automată sau în susținerea conductelor de caracteristici
  • Capacitatea de a gestiona mai multe proiecte pentru clienți și de a livra lucrări de calitate la timp
  • Experiență în utilizarea Azure DevOps sau GitHub pentru controlul sursei și conductele de livrare

Locuri de muncă similare