Optiveum to firma rekrutacyjna i konsultingowa specjalizująca się w usługach HR i IT, wykorzystująca ponad 20 lat doświadczenia w tych obszarach. Firma łączy specjalistów z projektowymi i stałymi możliwościami pracy zdalnej oraz stacjonarnej, współpracując z klientami w Polsce i na rynkach międzynarodowych. Działalność rekrutacyjna obejmuje IT, finanse, księgowość, produkcję, logistykę i marketing, wspierając organizacje w pozyskiwaniu talentów oraz kandydatów w realizacji kolejnego kroku zawodowego.
Starszy inżynier danych Databricks — zdalny kontrakt w Polsce
Twórz skalowalne potoki danych i rozwiązania przetwarzania w Databricks z wykorzystaniem języka Python dla klientów technologicznych firmy Optiveum. Pracuj z AWS, Azure i Google Cloud Platform nad złożonymi zbiorami danych oraz architekturami opartymi na chmurze.
Opis
- Tworzyć rozwiązania Databricks do przetwarzania dużych i zróżnicowanych zbiorów danych
- Rozwijać i ulepszać potoki danych w języku Python z wykorzystaniem technologii chmurowych
- Współpracować z architektami rozwiązań przy ustanawianiu i utrzymywaniu standardów inżynierii danych
- Dbać o integralność, bezpieczeństwo i skalowalność danych w środowiskach chmurowych
- Projektować skalowalne architektury dla złożonych obciążeń związanych z danymi w AWS, Azure i Google Cloud Platform
- Stosować nowoczesne frameworki danych, praktyki programistyczne i zasady DevOps
Wymagania
- Udokumentowane komercyjne doświadczenie w inżynierii danych oraz praktyczna znajomość Databricks
- Zaawansowana znajomość języka Python na potrzeby automatyzacji i transformacji danych
- Komercyjne doświadczenie z co najmniej jedną główną platformą chmurową: AWS, Azure lub Google Cloud Platform
- Skuteczne umiejętności komunikacji pisemnej i ustnej
- Zaawansowana znajomość języka angielskiego i polskiego
- Bardzo dobra znajomość SQL, w tym optymalizacji zapytań i modelowania danych
- Praktyczna znajomość praktyk DevOps, potoków CI/CD i narzędzi Infrastructure as Code, takich jak Terraform lub Bicep
- Doświadczenie z technologiami strumieniowania danych w czasie rzeczywistym, w tym Kafka lub Spark Streaming
- Znajomość chmurowych platform przechowywania danych, takich jak Data Lake, Snowflake lub Synapse
- Praktyczne doświadczenie z PySpark w zakresie rozproszonego przetwarzania danych
- Odpowiednie certyfikaty zawodowe, takie jak Databricks Certified Data Engineer Associate lub certyfikaty związane z danymi w chmurze