FINNOMENA е тайландска финтех компания, която работи на пресечната точка между финансите и медиите. Нейната платформа помага на индивидуалните инвеститори да проучват пазарите, да следят финансови новини, да сравняват взаимни фондове, да преглеждат препоръки и да управляват инвестиционните си решения. Наред с пазарни известия, седмични анализи, инструменти за подбор на фондове и информация за цени в реално време, като цените на златото, FINNOMENA поддържа откриването на сметки и покупката на взаимни фондове, включително достъп до фондове, които управлява. Компанията обединява инвестиционно съдържание, изследователски инструменти и дистрибуция на фондове в една услуга за индивидуални инвеститори.
Младши инженер по анализ на данни – FINNOMENA, хибридна работа в Тайланд
Младшият инженер по анализ на данни отговаря за SQL, Python и PySpark pipeline-и, с фокус върху приемането на данни в Google Cloud, качеството на данните, мониторинга и аналитичната поддръжка.
Описание
- Изграждане и поддръжка на възложени пакетни ETL и ELT работни процеси със SQL, Python и PySpark
- Подпомагане на приемането на данни от бази данни, API, файлове и източници в Google Workspace
- Прилагане на основно почистване и трансформиране на данни и проверка от източника до целта
- Участие в разработването и поддръжката на поточни pipeline-и с Google Cloud Pub/Sub и Datastream
- Създаване и поддръжка на проверки за липсващи, дублирани, невалидни и забавени данни
- Проследяване на пакетни и поточни работни процеси, актуалността на данните и общото състояние на pipeline-ите
- Проверка на логове, решаване на рутинни проблеми и ескалиране на по-сложни инциденти
- Подпомагане на разрешено повторно стартиране на pipeline-и и повторна обработка на данни
- Подготвяне на набори от данни за последващ анализ и отчитане
- Помощ при поддръжката на табла, които проследяват състоянието на pipeline-ите и качеството на данните
- Документиране на съпоставянията на данни, логиката на трансформациите, критериите за проверка и процедурите за отстраняване на проблеми
- Работа с Git и участие в прегледи на код и тестване преди издаване
Изисквания
- Подходящо за наскоро завършили кандидати и кандидати с до две години релевантен опит
- Работни познания по SQL, Python и PySpark
- Способност за изграждане и поддръжка на пакетни ETL и ELT работни процеси
- Способност за подпомагане на приемането на данни от бази данни, API, файлове и източници в Google Workspace
- Разбиране на практиките за почистване и трансформиране на данни и проверка от източника до целта
- Способност за участие в поточни pipeline-и, изградени с Google Cloud Pub/Sub и Datastream
- Способност за създаване и поддръжка на проверки за качеството на данните
- Способност за мониторинг на pipeline-и, проверка на логове и решаване на рутинни проблеми
- Способност за документиране на съпоставянията на данни, логиката на трансформациите, критериите за проверка и процедурите за отстраняване на проблеми
- Опит или познания в Git, прегледи на код и тестване на софтуер
- Познаване на услуги на Google Cloud като BigQuery, Dataform, Google Cloud Storage, Managed Service for Apache Airflow, Managed Service for Apache Spark, Pub/Sub и Datastream
Придобивки
- Практически опит с платформата за данни на екипа в Google Cloud
- Менторство и подкрепа при прегледи на код от опитни колеги