LogoFresh Jobs Ahead
ClickBus
ClickBus
201 – 500 Anställda
LogistikMarknadsplatsResor
ClickBus är en resemarknadsplats som hjälper människor att söka efter och köpa bussbiljetter för intercityresor i Brasilien och Latinamerika. Webbplatsen och mobilappen kopplar samman resenärer med mer än 200 bussbolag och över 4 800 resmål, medan funktioner som ClickOferta och flera betalningsmetoder tillgodoser olika bokningsbehov. Företaget fokuserar på att göra det enklare att planera och köpa långväga bussresor via en digital plattform.
LinkedIn
Jobb på företaget

Dataingenjör på mellannivå hos ClickBus

Bygg och optimera batch- och strömmande datapipelines för ClickBus bussbiljettmarknad. Arbeta med AWS, Spark, Airflow, dbt och datakvalitetsrutiner för att förbättra prestanda, kostnader och tillförlitlighet.

BRBrasilienHybridHeltidMellannivåSeniorObligatoriskt Språk: portugisiskaDataingenjör
AirflowAWSMolnPySparkPythonSparkSQL

Beskrivning

  • Bygg, underhåll och förbättra batch- och strömmande pipelines med Airflow på EKS, EMR/Spark och dbt
  • Skapa inläsningsprocesser för DMS, API:er, filer och händelser samtidigt som data organiseras över Data Lake-lager
  • Diagnostisera och lös pipelineincidenter, inklusive DAG-fel, bearbetningsfel, inkonsekventa mätvärden och schemaproblem
  • Genomför rotorsaksanalyser och rekommendera förändringar som förhindrar upprepade fel
  • Upprätthåll datakvaliteten genom automatiserade tester, valideringskontroller och avstämningsprocesser
  • Utveckla och trimma Spark- och dbt-transformationer för bättre prestanda och kostnadskontroll
  • Optimera Athena-frågor och dbt-modeller för att sänka bearbetningskostnaderna och förbättra svarstiderna
  • Implementera inkrementella inläsningar med append, overwrite och merge/upsert med konsekvent och idempotent bearbetning
  • Bidra med tekniska förbättringar och standardisering i takt med att dataarkitekturen utvecklas
  • Granska kod och tillämpa god praxis för versionshantering och teknisk dokumentation
  • Samarbeta med verksamhetsteamen för att bekräfta att levererade data uppfyller funktionella behov
  • Övervaka pipelinekörningar och identifiera möjligheter till kontinuerliga förbättringar

Krav

  • Dokumenterad erfarenhet av arbete som dataingenjör i en molnbaserad miljö
  • Praktisk erfarenhet av att bygga och drifta datapipelines i produktion
  • Erfarenhet av felsökning och hantering av datarelaterade incidenter
  • Erfarenhet av att utforma analysmodeller med fakta- och dimensionstabeller
  • Kunskap om strategier för inkrementell inläsning och datapartitionering
  • God kunskap om AWS-tjänster, inklusive S3, Athena, IAM och Glue Catalog; EMR är meriterande
  • Erfarenhet av att skapa och underhålla Airflow-DAG:ar
  • Praktisk kompetens i PySpark, inklusive joins, partitionering och grundläggande prestandajustering
  • Erfarenhet av dbt-modellering, inkrementella modeller och testning
  • Avancerade kunskaper i SQL
  • Programmeringskunskaper i Python
  • Erfarenhet av Git

Förmåner

  • Månatligt måltids- eller matbidrag på 1 100 BRL via ett Flash-kort
  • Månatligt hemmakontorsbidrag på 149 BRL via ett Flash-kort
  • Månatligt bidrag på 200 BRL för flexibla förmåner via ett Flash-kort
  • Förmånen Busonauta Viajante på 2 000 BRL per år för köp av bussbiljetter via appen eller webbplatsen
  • Transportbidrag
  • Parkeringsförmån
  • Sjukförsäkring från SulAmérica utan egenavgifter eller månadspremie
  • Tandvårdsförsäkring från Bradesco
  • Barnomsorgsbidrag för mammor och pappor
  • Sex månaders mammaledighet och 30 dagars pappaledighet
  • Livförsäkring
  • Tillgång till Wellhub och TotalPass
  • Årlig vinstdelningsbonus
  • Ledigt på födelsedagen
  • Partnerskap med Petlove
  • Apoteksbidrag
  • Stöd för barn med funktionsnedsättning
  • Partnerskap med utbildnings- och fritidsinstitutioner

Relaterade jobb