FINNOMENA — тайская финтех-компания, работающая на стыке финансов и медиа. Её платформа помогает частным инвесторам исследовать рынки, следить за финансовыми новостями, сравнивать взаимные фонды, изучать рекомендации и принимать инвестиционные решения. Помимо рыночных уведомлений, еженедельных обзоров, фильтров для подбора фондов и информации о ценах в режиме реального времени, включая цены на золото, FINNOMENA поддерживает открытие счетов и покупку взаимных фондов, в том числе фондов под управлением компании. Компания объединяет инвестиционный контент, исследовательские инструменты и дистрибуцию фондов в одном сервисе для частных инвесторов.
Младший инженер по аналитике данных — FINNOMENA, гибридный формат, Таиланд
Младший инженер по аналитике данных отвечает за конвейеры на SQL, Python и PySpark, уделяя особое внимание загрузке данных в Google Cloud, качеству данных, мониторингу и поддержке аналитики.
Описание
- Разрабатывать и поддерживать назначенные пакетные ETL- и ELT-конвейеры с использованием SQL, Python и PySpark
- Поддерживать загрузку данных из баз данных, API, файлов и источников Google Workspace
- Применять базовые методы очистки и преобразования данных, а также проверку соответствия источника и целевого объекта
- Участвовать в разработке и сопровождении потоковых конвейеров с использованием Google Cloud Pub/Sub и Datastream
- Создавать и поддерживать проверки на наличие пропущенных, дублирующихся, некорректных и задержанных данных
- Отслеживать пакетные и потоковые процессы, актуальность данных и общее состояние конвейеров
- Проверять журналы, устранять стандартные проблемы и передавать более сложные инциденты на следующий уровень
- Поддерживать авторизованные повторные запуски конвейеров и повторную обработку данных
- Формировать наборы данных для последующего использования в аналитике и отчетности
- Помогать поддерживать панели мониторинга статуса конвейеров и качества данных
- Документировать сопоставления данных, логику преобразований, критерии валидации и процедуры устранения неполадок
- Работать с Git, участвовать в проверке кода и тестировании перед выпуском
Требования
- Рассматриваются недавние выпускники и кандидаты с опытом работы по специальности до двух лет
- Практические знания SQL, Python и PySpark
- Умение разрабатывать и поддерживать пакетные ETL- и ELT-конвейеры
- Умение поддерживать загрузку данных из баз данных, API, файлов и источников Google Workspace
- Понимание принципов очистки и преобразования данных, а также проверки соответствия источника и целевого объекта
- Способность участвовать в работе с потоковыми конвейерами на базе Google Cloud Pub/Sub и Datastream
- Умение создавать и поддерживать проверки качества данных
- Умение отслеживать конвейеры, анализировать журналы и устранять стандартные проблемы
- Умение документировать сопоставления данных, логику преобразований, критерии валидации и процедуры устранения неполадок
- Опыт работы с Git, проверки кода и тестирования программного обеспечения либо знакомство с ними
- Знакомство с сервисами Google Cloud, такими как BigQuery, Dataform, Google Cloud Storage, Managed Service for Apache Airflow, Managed Service for Apache Spark, Pub/Sub и Datastream
Преимущества
- Практический опыт работы с облачной платформой данных команды на базе Google Cloud
- Наставничество и поддержка при проверке кода со стороны опытных коллег