Simple Machines는 데이터 아키텍처, 데이터 엔지니어링, 데이터 과학 및 소프트웨어 개발을 아우르는 호주 컨설팅 회사입니다. 기업, 정부 기관, 글로벌 기술 기업을 위해 분산 데이터 플랫폼과 머신러닝 애플리케이션을 설계하고 구축합니다. Confluent의 Preferred 파트너로서 Kafka 컨설팅과 교육을 제공하며, Databricks 및 Lightbend와의 파트너십을 통해 Spark와 Scala 컨설팅 및 교육도 제공합니다. 데이터 엔지니어링, 데이터 과학 또는 소프트웨어 개발 직무를 살펴보는 사람에게 Simple Machines는 실제 시스템에서 데이터를 활용하는 데 중점을 둔 전문 컨설팅 환경을 제공합니다.
수석 데이터 엔지니어(원격, 폴란드)
글로벌 기술 컨설팅 기업 Simple Machines에서 클라우드 네이티브 데이터 플랫폼, 파이프라인, 데이터 제품의 아키텍처와 구축을 주도합니다. 폴란드에서 원격으로 근무하며 기술 방향을 정하고 고객과 협력합니다.
설명
- 설계부터 구축까지 최신 클라우드 네이티브 데이터 플랫폼의 아키텍처를 총괄합니다.
- 데이터 메시, 데이터 제품, 데이터 계약을 활용해 확장 가능한 데이터 생태계를 만듭니다.
- 데이터 수집, 저장, 처리, 접근 전반의 아키텍처를 수립합니다.
- 플랫폼이 보안, 규정 준수, 프로덕션 준비 기준을 충족하도록 합니다.
- Databricks, Snowflake, AWS, GCP로 클라우드 네이티브 플랫폼을 구축합니다.
- 고객 시스템을 연결해 사용자가 확장 가능한 방식으로 데이터에 접근하도록 합니다.
- 배치 및 실시간 데이터 파이프라인을 구축하고 최적화합니다.
- 스트리밍과 메시징에 Kafka, Flink, Kinesis, Pub/Sub를 사용합니다.
- Airflow, Dataflow, Glue로 워크플로를 조정합니다.
- Spark와 Flink로 대규모 데이터셋을 처리하고 변환합니다.
- Postgres, BigQuery, Snowflake, Cassandra, MongoDB를 비롯한 관계형, NoSQL, 분석 데이터베이스를 다룹니다.
- Parquet, Delta, ORC, Avro로 저장 형식과 접근 패턴을 개선합니다.
- 처음부터 보안을 고려해 안전하고 규정을 준수하는 솔루션을 구축합니다.
- 개발 워크플로를 늦추지 않으면서 데이터 거버넌스를 통합합니다.
- 고객과 직접 협력해 과제를 파악하고 해결책을 구체화합니다.
- 비즈니스 요구사항을 실용적인 엔지니어링 선택으로 전환합니다.
- 신뢰받는 기술 파트너로서 고객에게 조언합니다.
- 엔지니어링 표준, 패턴, 실무 방식을 정의합니다.
- 설계와 코드를 검토하고 기술 지침과 멘토링을 제공합니다.
- 데이터 품질, 테스트, 관측 가능성, 운영 관행을 강화합니다.
지원 자격
- Python과 SQL을 능숙하게 다룹니다.
- Spark와 Databricks 또는 Snowflake 같은 최신 데이터 플랫폼에 대한 깊은 경험이 있습니다.
- AWS 또는 GCP의 클라우드 데이터 서비스를 이해합니다.
- 대규모 데이터 플랫폼의 아키텍처를 맡아본 경험이 있습니다.
- 뛰어난 데이터 모델링 역량을 갖추고 타당한 아키텍처 결정을 내립니다.
- 솔루션을 선택할 때 성능, 비용, 복잡성의 균형을 맞춥니다.
- 대규모 프로덕션 데이터 파이프라인을 구축하고 운영한 경험이 있습니다.
- 여러 스토리지 기술과 데이터 형식을 다뤄본 경험이 있습니다.
- Terraform 또는 Pulumi 같은 인프라 코드화 도구를 사용합니다.
- GitHub Actions 또는 ArgoCD 같은 도구로 CI/CD 파이프라인을 구축한 경험이 있습니다.
- dbt, Great Expectations, Soda 같은 데이터 테스트 및 품질 프레임워크를 사용한 경험이 있습니다.
- 컨설팅 또는 전문 서비스 분야의 경험이 있습니다.
- 기존 가정에 의문을 제기하고 고객이 더 나은 결과를 얻도록 이끌 수 있습니다.
- 시니어 엔지니어를 멘토링하고 기술 문화를 만들어가는 데 익숙합니다.
복리후생
- 도전적이고 의미 있는 영향을 주는 문제를 다룹니다.
- 레거시 시스템을 유지보수하는 대신 최신 플랫폼을 구축합니다.
- 경험 많은 엔지니어들과 협업합니다.
- 업무에서 자율성과 영향력을 발휘할 수 있습니다.
- 전문적으로 성장할 기회가 있습니다.