Simple Machines on australialainen konsulttiyritys, jonka toimialoja ovat data-arkkitehtuuri, data engineering, datatiede ja ohjelmistokehitys. Sen konsultit suunnittelevat ja rakentavat hajautettuja data-alustoja ja koneoppimissovelluksia yrityksille, viranomaisille ja kansainvälisille teknologiayhtiöille. Tiimi tarjoaa myös Kafka-konsultointia ja koulutusta Preferred Confluent -kumppanina sekä Spark- ja Scala-konsultointia ja koulutusta Databricksin ja Lightbendin kanssa tehtävien kumppanuuksien kautta. Data engineeringin, datatieteen tai ohjelmistokehityksen tehtävistä kiinnostuneille Simple Machines tarjoaa erikoistuneen konsultointiympäristön, jossa keskitytään hyödyntämään dataa käytännön järjestelmissä.
Principal Data Engineer (etätyö, Puola)
Johda Simple Machinesin pilvinatiivia data-alustojen, putkien ja datatuotteiden arkkitehtuuria ja toteutusta globaalissa teknologiakonsultointiyrityksessä. Määritä tekninen suunta ja tee yhteistyötä asiakkaiden kanssa etätyössä Puolasta käsin.
Kuvaus
- Vastaat nykyaikaisten pilvinatiivien data-alustojen arkkitehtuurista suunnittelusta toimitukseen.
- Luot skaalautuvia dataekosysteemejä hyödyntäen data meshiä, datatuotteita ja datasopimuksia.
- Määrität arkkitehtuurin datan keruulle, tallennukselle, käsittelylle ja käytölle.
- Varmistat, että alustat täyttävät tietoturvan, vaatimustenmukaisuuden ja tuotantovalmiuden vaatimukset.
- Toteutat pilvinatiiveja alustoja Databricksilla, Snowflakella, AWS:llä ja GCP:llä.
- Yhdistät asiakkaiden järjestelmät ja tarjoat käyttäjille skaalautuvan pääsyn dataan.
- Rakennat ja optimoit eräajo- ja reaaliaikaisia dataputkia.
- Käytät Kafkaa, Flinkiä, Kinesistä ja Pub/Subia suoratoistoon ja viestinvälitykseen.
- Koordinoit työnkulkuja Airflow’lla, Dataflow’lla ja Glue’lla.
- Käsittelet ja muunnat suuria tietoaineistoja Sparkilla ja Flinkillä.
- Työskentelet relaatiotietokantojen, NoSQL-tietokantojen ja analytiikkatietokantojen kanssa, kuten Postgresin, BigQueryn, Snowflaken, Cassandran ja MongoDB:n.
- Parannat tallennusmuotoja ja käyttötapoja Parquetilla, Deltalla, ORC:llä ja Avrolla.
- Rakennat turvallisia ja vaatimustenmukaisia ratkaisuja, joissa tietoturva huomioidaan alusta alkaen.
- Yhdistät datahallinnan kehittäjien työnkulkuihin hidastamatta niitä.
- Teet suoraan yhteistyötä asiakkaiden kanssa, jotta ymmärrät heidän haasteensa ja voit muotoilla ratkaisuja.
- Muutat liiketoiminnan vaatimukset käytännöllisiksi teknisiksi valinnoiksi.
- Neuvot asiakkaita luotettavana teknisenä kumppanina.
- Määrität suunnittelun standardit, mallit ja käytännöt.
- Arvioit suunnitelmia ja koodia sekä tarjoat teknistä ohjausta ja mentorointia.
- Vahvistat datan laatua, testausta, havainnoitavuutta ja operatiivisia käytäntöjä.
Vaatimukset
- Hallitset Pythonin ja SQL:n vahvasti.
- Sinulla on syvällistä kokemusta Sparkista ja nykyaikaisista data-alustoista, kuten Databricksistä tai Snowflakesta.
- Tunnet AWS:n tai GCP:n pilvipalvelut datankäsittelyyn.
- Olet vastannut laajamittaisten data-alustojen arkkitehtuurista.
- Hallitset datamallinnuksen ja teet perusteltuja arkkitehtuuripäätöksiä.
- Osaat tasapainottaa suorituskyvyn, kustannukset ja ratkaisujen monimutkaisuuden.
- Olet rakentanut ja ylläpitänyt laajamittaisia tuotantokäytössä olevia dataputkia.
- Sinulla on kokemusta useista tallennusteknologioista ja datamuodoista.
- Käytät infrastruktuurin koodina hallintaan tarkoitettuja työkaluja, kuten Terraformia tai Pulumia.
- Olet rakentanut CI/CD-putkia esimerkiksi GitHub Actionsilla tai ArgoCD:llä.
- Olet käyttänyt datan testaus- ja laatukehyksiä, kuten dbt:tä, Great Expectationsia tai Sodaa.
- Sinulla on kokemusta konsultoinnista tai asiantuntijapalveluista.
- Osaat kyseenalaistaa oletuksia ja ohjata asiakkaita parempiin tuloksiin.
- Viihdyt kokeneiden insinöörien mentoroinnissa ja teknisen kulttuurin kehittämisessä.
Edut
- Työskentelet haastavien ongelmien parissa ja saat aikaan merkityksellisiä tuloksia.
- Rakennat nykyaikaisia alustoja sen sijaan, että ylläpitäisit vanhoja järjestelmiä.
- Teet yhteistyötä kokeneiden insinöörien kanssa.
- Saat työssäsi itsenäisyyttä ja vaikutusmahdollisuuksia.
- Sinulla on mahdollisuuksia kehittyä ammatillisesti.