Ang Simple Machines ay isang kompanya ng pagkonsulta mula sa Australia na nagtatrabaho sa arkitektura ng datos, inhinyeriya ng datos, agham ng datos, at pagbuo ng software. Dinidisenyo at binubuo ng mga consultant nito ang mga distributed data platform at aplikasyon ng machine learning para sa mga negosyo, ahensiya ng pamahalaan, at pandaigdigang kompanya ng teknolohiya. Nagbibigay rin ang team ng konsultasyon at pagsasanay sa Kafka bilang Preferred Confluent partner, kasama ang konsultasyon at pagsasanay sa Spark at Scala sa pamamagitan ng pakikipagsosyo nito sa Databricks at Lightbend. Para sa mga tumitingin ng mga tungkulin sa data engineering, data science, o software development, nag-aalok ang Simple Machines ng espesyalisadong kapaligiran sa pagkonsulta na nakatuon sa paggamit ng datos sa mga sistemang ginagamit sa totoong mundo.
Punong Data Engineer (Remote, Poland)
Pangunahan ang arkitektura at paghahatid ng mga cloud-native na data platform, pipeline, at data product para sa Simple Machines, isang pandaigdigang technology consultancy. Itakda ang teknikal na direksiyon at makipagtulungan sa mga kliyente habang nagtatrabaho nang remote mula sa Poland.
Paglalarawan
- Pangunahan ang arkitektura ng mga makabagong cloud-native na data platform mula disenyo hanggang paghahatid.
- Lumikha ng mga scalable na data ecosystem gamit ang data mesh, mga data product, at data contract.
- Itakda ang arkitektura para sa pagpasok, pag-iimbak, pagproseso, at pag-access ng data.
- Tiyaking natutugunan ng mga platform ang mga pamantayan sa seguridad, pagsunod, at kahandaan sa produksyon.
- Maghatid ng mga cloud-native na platform gamit ang Databricks, Snowflake, AWS, at GCP.
- Ikonekta ang mga sistema ng kliyente upang makapagbigay ng scalable na access sa data para sa mga gumagamit.
- Bumuo at mag-optimize ng mga batch at real-time na data pipeline.
- Gamitin ang Kafka, Flink, Kinesis, at Pub/Sub para sa streaming at pagmemensahe.
- Iugnay ang mga workflow gamit ang Airflow, Dataflow, at Glue.
- Magproseso at magbago ng malalaking dataset gamit ang Spark at Flink.
- Gumawa gamit ang relational, NoSQL, at analytical database, kabilang ang Postgres, BigQuery, Snowflake, Cassandra, at MongoDB.
- Pagandahin ang mga format ng storage at paraan ng pag-access gamit ang Parquet, Delta, ORC, at Avro.
- Bumuo ng ligtas at sumusunod na mga solusyon, at isaalang-alang ang seguridad sa simula pa lang.
- Isama ang pamamahala ng data nang hindi pinapabagal ang mga workflow ng developer.
- Direktang makipagtulungan sa mga kliyente upang maunawaan ang mga hamon at bumuo ng mga solusyon.
- Isalin ang mga pangangailangan ng negosyo tungo sa praktikal na mga pagpiling pang-inhinyeriya.
- Magpayo sa mga kliyente bilang mapagkakatiwalaang teknikal na katuwang.
- Magtakda ng mga pamantayan, pattern, at kasanayan sa inhinyeriya.
- Suriin ang mga disenyo at code, at magbigay ng gabay at mentoring sa teknikal na gawain.
- Pagbutihin ang kalidad ng data, pagsubok, observability, at mga operasyonal na kasanayan.
Mga Kinakailangan
- May matibay na kasanayan sa Python at SQL.
- May malalim na karanasan sa Spark at makabagong data platform gaya ng Databricks o Snowflake.
- Nauunawaan ang mga cloud data service sa AWS o GCP.
- Nakapangasiwa na sa arkitektura ng malakihang data platform.
- May matibay na kasanayan sa pagmomodelo ng data at mahusay na pagpapasya sa arkitektura.
- Nabalanse ang performance, gastos, at pagiging kumplikado sa pagpili ng mga solusyon.
- Nakabuo at nakapagpatakbo na ng malakihang production data pipeline.
- May karanasan sa iba’t ibang teknolohiya ng storage at mga format ng data.
- Gumagamit ng mga tool sa infrastructure-as-code gaya ng Terraform o Pulumi.
- Nakabuo na ng CI/CD pipeline gamit ang mga tool gaya ng GitHub Actions o ArgoCD.
- Gumamit na ng mga framework para sa pagsubok at kalidad ng data gaya ng dbt, Great Expectations, o Soda.
- May karanasan sa consulting o professional services.
- Kayang kuwestiyunin ang mga palagay at gabayan ang mga kliyente tungo sa mas mahusay na resulta.
- Komportableng mag-mentor sa mga senior engineer at humubog ng teknikal na kultura.
Mga Benepisyo
- Makapagtrabaho sa mga mapanghamong problemang may makabuluhang epekto.
- Bumuo ng mga makabagong platform sa halip na magpanatili ng mga lumang sistema.
- Makipagtulungan sa mga bihasang engineer.
- Magkaroon ng awtonomiya at impluwensiya sa trabaho.
- Magkaroon ng mga pagkakataong umunlad sa propesyon.