Allata
Allata
Allata je globální poradenská společnost, která pomáhá organizacím proměňovat digitální strategii v praktická zlepšení podnikání. Její týmy se věnují strategii, zákaznické zkušenosti, cloudu a technologiím, datům a umělé inteligenci a podporují klienty při modernizaci, personalizaci a zvyšování provozní efektivity. Allata působí v automobilovém průmyslu, zdravotnictví, logistice, finančních službách a high-tech odvětvích a při řízení komplexních digitálních iniciativ čerpá ze zkušeností bývalých vedoucích pracovníků v IT a konzultantů.

Manažer datové platformy Databricks (práce na dálku, Texas)

Veďte architekturu a dodávky spravovaných platforem Lakehouse a podnikových datových skladů pro Allata. Rozvíjejte datové pipeline, zabezpečení, škálovatelnost a tvorbu datových produktů.

Popis

  • Stanovujte architekturu, vybírejte technologie, referenční vzory a integrační plány pro platformy Lakehouse a podnikové datové sklady.
  • Vytvářejte koncepční, logické a fyzické modely vícenájemných a oborově specifických datových produktů.
  • Standardizujte datové vrstvy pro příjem, surové úložiště, úpravu a poskytování dat.
  • Zavádějte postupy správy metadat, katalogů, původu dat, datových kontraktů a klasifikace.
  • Definujte bezpečnostní a souladové kontroly pro přístup, maskování, šifrování, segmentaci sítě a audit.
  • Plánujte škálovatelnost platformy, vysokou dostupnost, obnovu po havárii, kapacitu a řízení nákladů.
  • Veďte výběr a integraci nástrojů Databricks, Delta Lake, Delta Live Tables, Fivetran, Azure Data Factory nebo Data Fabric, orchestrace a monitorování.
  • Stanovujte a prosazujte postupy CI/CD pro datové prostředky, včetně testů, automatizovaných vydání a plánů návratu změn.
  • Definujte přístupy k dávkovému a streamovacímu příjmu, kompakci, dělení na oddíly a ukládání.
  • Stanovujte standardy pozorovatelnosti pro metriky, SLA, dashboardy, protokoly, trasování a upozornění.
  • Poskytujte technické vedení a mentoring týmům Data Engineering.
  • Kontrolujte architekturu a kód kritických komponent.
  • Spolupracujte s vlastníky datových produktů a zainteresovanými stranami z oblastí zabezpečení, infrastruktury, BI a ML a převádějte požadavky na řešení a plány.
  • Vytvářejte, testujte a nasazujte moduly zpracování pomocí Spark, PySpark nebo Scala, Spark SQL a uložených procedur.
  • Vyvíjejte a optimalizujte datové pipeline v Databricks a na databázových platformách.
  • Uplatňujte postupy DevOps, infrastrukturu jako kód, CI/CD, automatizované testování a správu verzí.
  • Řešte složité problémy s kvalitou, výkonem a dostupností dat a prosazujte průběžné zlepšování.

Požadavky

  • Předchozí zkušenost s rolí architekta nebo technického vedoucího podnikových datových platforem.
  • Praktická znalost technologií Databricks včetně Delta Lake, Unity Catalog, Delta Live Tables, Auto Loader a Structured Streaming.
  • Silné dovednosti v Spark, PySpark a/nebo Scala, Spark SQL a optimalizaci distribuovaných úloh.
  • Zkušenosti s návrhem datových skladů a platforem Lakehouse.
  • Praktická znalost vzorů Medallion, Lambda a Kappa.
  • Zkušenosti s integrací nástrojů SaaS, ETL nebo konektorů, například Fivetran.
  • Zkušenosti s nástroji orchestrace, jako jsou Airflow, Azure Data Factory a Data Fabric.
  • Zkušenosti s relačními a hybridními databázemi včetně MS SQL Server, PostgreSQL, Oracle, Azure SQL a AWS RDS/Aurora nebo ekvivalentů.
  • Znalost CI/CD datových pipeline pomocí Azure DevOps, GitHub Actions, Jenkins nebo podobných nástrojů.
  • Zkušenosti s balením a nasazováním artefaktů, jako jsou soubory .whl a kontejnery.
  • Zkušenosti s dávkovým a streamovacím zpracováním, kompakcí souborů, dělením na oddíly a laděním úložiště.
  • Porozumění zabezpečení cloudu, IAM/RBAC, šifrování, konceptům VPC/VNet a cloudovým sítím.
  • Znalost nástrojů pozorovatelnosti a monitorování, jako jsou Prometheus, Grafana, Datadog nebo nativní cloudové služby.
  • Zkušenosti s automatizací CI/CD pipeline a vývojem založeným na trunku jsou výhodou.
  • Pokročilé dovednosti v PySpark jsou výhodou.
  • Pokročilé dovednosti v optimalizaci a orchestraci pracovních postupů Spark jsou výhodou.
  • Certifikace Databricks, cloudové architektury nebo dat jsou výhodou.
  • Schopnost identifikovat, diagnostikovat a řešit složité problémy s daty.
  • Dobré schopnosti spolupráce a komunikace.
  • Zvídavost a otevřenost novým nástrojům, technologiím a metodám.

Benefity

  • Práce na plný úvazek.
  • Rovné příležitosti a inkluzivní pracovní prostředí.
  • Závazek k rozmanitosti.

Související pracovní nabídky

Lunar Solar Group

Datový vědec pro měření marketingu (práce na dálku, USA)

Lunar Solar Group

Vytvářejte atribuci, měření přírůstkového dopadu a modely mediálního mixu pro Lunar Solar Group, poradenskou společnost zaměřenou na růst a agenturu digitálního marketingu. Převádějte analýzy do praktických doporučení pro rozpočty klientů.

Otevřít
Airbnb

Seniorní datový vědec pro výzkum People Analytics

Airbnb

Veďte výzkum v oblasti analytiky zaměstnanců ve společnosti Airbnb a využívejte kauzální inferenci a statistické modelování při rozhodování o pracovních silách, odměňování, náboru a udržení zaměstnanců. Spolupracujte se zainteresovanými stranami na analýzách a reportingu citlivých témat.

Otevřít
The Cigna Group

Seniorní vedoucí pro tvorbu datových řešení, práce na dálku (USA)

The Cigna Group

Vytvářejte opakovaně použitelné datové produkty Silver a Gold pro zdravotní služby Cigna pomocí Databricks a řízených procesů MVP a CI/CD. Proměňujte obchodní potřeby v produkční datová řešení a stanovujte standardy pro Data Operations.

Otevřít