Simple Machines adalah perusahaan konsultasi asal Australia yang bergerak di bidang arsitektur data, rekayasa data, ilmu data, dan pengembangan perangkat lunak. Para konsultannya merancang dan membangun platform data terdistribusi serta aplikasi pembelajaran mesin untuk perusahaan, lembaga pemerintah, dan perusahaan teknologi global. Tim ini juga menyediakan konsultasi dan pelatihan Kafka sebagai mitra Preferred Confluent, serta konsultasi dan pelatihan Spark dan Scala melalui kemitraannya dengan Databricks dan Lightbend. Bagi mereka yang menjajaki karier di bidang rekayasa data, ilmu data, atau pengembangan perangkat lunak, Simple Machines menawarkan lingkungan konsultasi spesialis yang berfokus pada penerapan data dalam sistem dunia nyata.
Principal Data Engineer (Jarak Jauh, Polandia)
Pimpin arsitektur dan penyampaian platform data cloud-native, pipeline, dan produk data untuk Simple Machines, konsultan teknologi global. Bekerja jarak jauh dari Polandia, menetapkan arah teknis, dan bermitra dengan klien.
Deskripsi
- Memiliki tanggung jawab atas arsitektur platform data cloud-native modern dari perancangan hingga penyampaian.
- Menciptakan ekosistem data yang dapat diskalakan dengan data mesh, produk data, dan kontrak data.
- Menetapkan arsitektur untuk penyerapan, penyimpanan, pemrosesan, dan akses data.
- Memastikan platform memenuhi standar keamanan, kepatuhan, dan kesiapan produksi.
- Menyampaikan platform cloud-native dengan Databricks, Snowflake, AWS, dan GCP.
- Menghubungkan sistem klien untuk menyediakan akses data yang dapat diskalakan bagi konsumen.
- Membangun dan menyetel pipeline data batch dan real-time.
- Menggunakan Kafka, Flink, Kinesis, dan Pub/Sub untuk streaming dan pengiriman pesan.
- Mengoordinasikan alur kerja dengan Airflow, Dataflow, dan Glue.
- Memproses dan mentransformasikan kumpulan data besar dengan Spark dan Flink.
- Bekerja dengan basis data relasional, NoSQL, dan analitik, termasuk Postgres, BigQuery, Snowflake, Cassandra, dan MongoDB.
- Meningkatkan format penyimpanan dan pola akses dengan Parquet, Delta, ORC, dan Avro.
- Membangun solusi yang aman dan patuh dengan mempertimbangkan keamanan sejak awal.
- Mengintegrasikan tata kelola data tanpa memperlambat alur kerja pengembang.
- Berkolaborasi langsung dengan klien untuk memahami tantangan dan merancang solusi.
- Menerjemahkan kebutuhan bisnis menjadi pilihan rekayasa yang praktis.
- Memberi saran kepada klien sebagai mitra teknis tepercaya.
- Menetapkan standar, pola, dan praktik rekayasa.
- Meninjau desain dan kode, serta memberikan arahan teknis dan bimbingan.
- Memperkuat kualitas data, pengujian, observabilitas, dan praktik operasional.
Persyaratan
- Menguasai Python dan SQL dengan baik.
- Memiliki pengalaman mendalam dengan Spark dan platform data modern seperti Databricks atau Snowflake.
- Memahami layanan data cloud di AWS atau GCP.
- Pernah memiliki tanggung jawab atas arsitektur platform data berskala besar.
- Menerapkan keterampilan pemodelan data yang kuat dan mengambil keputusan arsitektur yang tepat.
- Menyeimbangkan kinerja, biaya, dan kompleksitas saat memilih solusi.
- Pernah membangun dan mengoperasikan pipeline data produksi berskala besar.
- Berpengalaman dengan beragam teknologi penyimpanan dan format data.
- Menggunakan alat infrastruktur sebagai kode seperti Terraform atau Pulumi.
- Pernah membangun pipeline CI/CD dengan alat seperti GitHub Actions atau ArgoCD.
- Pernah menggunakan kerangka kerja pengujian dan kualitas data seperti dbt, Great Expectations, atau Soda.
- Memiliki pengalaman di bidang konsultasi atau layanan profesional.
- Mampu mempertanyakan asumsi dan mengarahkan klien menuju hasil yang lebih baik.
- Nyaman membimbing engineer senior dan membentuk budaya teknis.
Tunjangan
- Menangani masalah menantang yang berdampak berarti.
- Membangun platform modern alih-alih memelihara sistem lama.
- Berkolaborasi dengan engineer berpengalaman.
- Memiliki otonomi dan pengaruh dalam pekerjaan.
- Mendapat kesempatan untuk berkembang secara profesional.