
Commonwealth Bank — австралийская компания, предоставляющая финансовые услуги в сфере розничного, премиального, корпоративного и институционального банковского обслуживания. Компания также предлагает услуги по управлению фондами, пенсионному обеспечению, страхованию, инвестициям и торговле ценными бумагами. В Commonwealth Bank работает более 52 000 сотрудников, а число акционеров превышает 800 000. Компания предоставляет широкий спектр финансовых продуктов и услуг, помогая клиентам управлять своими финансами и увеличивать их.
Ведущий инженер по данным, Commonwealth Bank
Руководите разработкой масштабируемых платформ данных на AWS и Snowflake для платежных сервисов Commonwealth Bank. Создавайте надежные конвейеры и продукты данных, задавая инженерные стандарты во всем банке.
Описание
- Задавайте техническое направление ключевым инициативам в области инженерии данных, формируйте архитектуру и стандарты нескольких команд.
- Проектируйте и совершенствуйте масштабируемые пакетные и потоковые конвейеры с помощью Spark, Airflow и AWS Glue.
- Разрабатывайте облачные решения для работы с данными на сервисах AWS, включая S3, EMR, Glue, Lambda, Redshift и SageMaker.
- Создавайте качественные продукты данных и развивайте корпоративную платформу данных и модели маркетплейса данных.
- Руководите инженерными практиками тестирования, CI/CD, инфраструктуры как кода, наблюдаемости и надежности в эксплуатации.
- Определяйте подходы к качеству данных, отказоустойчивости, производительности и сопровождаемости распределенных нагрузок.
- Наставляйте инженеров, помогайте принимать технические решения и развивайте навыки инженерии данных в командах.
- Взаимодействуйте с командами архитектуры, продукта, безопасности и потребителями данных, превращая сложные запросы в практические инженерные решения.
Требования
- Подтвержденный глубокий опыт в инженерии данных и способность влиять на инженерные практики за пределами своей команды.
- Серьезный опыт работы с сервисами AWS для обработки данных, особенно S3, EMR, Glue, Lambda, Redshift и SageMaker, либо сопоставимыми облачными технологиями.
- Опыт работы со Snowflake, крупными платформами данных, продуктами данных или моделями маркетплейса данных.
- Уверенное владение Python и PySpark.
- Опыт проектирования и эксплуатации пакетных и потоковых конвейеров с Airflow, Spark и Glue.
- Опыт работы с CI/CD, автоматизированным тестированием и инфраструктурой как кодом.
- Опыт внедрения наблюдаемости, мониторинга и инженерии надежности для промышленных платформ данных и конвейеров.
- Продвинутый уровень SQL и глубокое знание реляционных баз данных.
- Техническое лидерство в архитектуре и проектировании, включая наставничество инженеров и формирование стандартов в нескольких командах.
Преимущества
- Доступная, инклюзивная и уважительная рабочая среда.
- Поддержка на рабочем месте и необходимые условия с учетом потребностей доступности.
- Возможности профессионального развития в группе Commonwealth Bank.
Похожие вакансии
Вакансии не найдены
Попробуйте изменить или сбросить фильтры, чтобы найти больше вакансий.