FINNOMENA — тайська фінтех-компанія, що працює на перетині фінансів і медіа. Її платформа допомагає приватним інвесторам досліджувати ринки, стежити за фінансовими новинами, порівнювати взаємні фонди, переглядати рекомендації та ухвалювати інвестиційні рішення. Окрім ринкових сповіщень, щотижневих оглядів, фільтрів для підбору фондів і інформації про ціни в реальному часі, зокрема ціни на золото, FINNOMENA підтримує відкриття рахунків і купівлю взаємних фондів, включно з фондами під управлінням компанії. Компанія об’єднує інвестиційний контент, дослідницькі інструменти та дистрибуцію фондів в одному сервісі для приватних інвесторів.
Молодший інженер з аналітики даних — FINNOMENA, гібридний формат, Таїланд
Молодший інженер з аналітики даних відповідає за конвеєри на SQL, Python і PySpark, зосереджуючись на завантаженні даних у Google Cloud, якості даних, моніторингу та підтримці аналітики.
Опис
- Розробляти та підтримувати призначені пакетні ETL- і ELT-конвеєри з використанням SQL, Python і PySpark
- Підтримувати завантаження даних із баз даних, API, файлів і джерел Google Workspace
- Застосовувати базові методи очищення та перетворення даних, а також перевірку відповідності джерела й цільового об’єкта
- Брати участь у розробленні та супроводі потокових конвеєрів із використанням Google Cloud Pub/Sub і Datastream
- Створювати й підтримувати перевірки на наявність пропущених, дубльованих, некоректних і затриманих даних
- Відстежувати пакетні та потокові процеси, актуальність даних і загальний стан конвеєрів
- Перевіряти журнали, усувати типові проблеми та передавати складніші інциденти на наступний рівень
- Підтримувати авторизовані повторні запуски конвеєрів і повторне оброблення даних
- Формувати набори даних для подальшого використання в аналітиці та звітності
- Допомагати підтримувати інформаційні панелі зі статусом конвеєрів і якістю даних
- Документувати зіставлення даних, логіку перетворень, критерії перевірки та процедури усунення несправностей
- Працювати з Git, брати участь у перевірці коду й тестуванні перед випуском
Вимоги
- Розглядаються нещодавні випускники та кандидати з досвідом роботи за спеціальністю до двох років
- Практичні знання SQL, Python і PySpark
- Уміння розробляти та підтримувати пакетні ETL- і ELT-конвеєри
- Уміння підтримувати завантаження даних із баз даних, API, файлів і джерел Google Workspace
- Розуміння принципів очищення та перетворення даних, а також перевірки відповідності джерела й цільового об’єкта
- Здатність брати участь у роботі з потоковими конвеєрами на базі Google Cloud Pub/Sub і Datastream
- Уміння створювати та підтримувати перевірки якості даних
- Уміння моніторити конвеєри, аналізувати журнали й усувати типові проблеми
- Уміння документувати зіставлення даних, логіку перетворень, критерії перевірки та процедури усунення несправностей
- Досвід роботи з Git, перевірки коду й тестування програмного забезпечення або знайомство з ними
- Знайомство із сервісами Google Cloud, такими як BigQuery, Dataform, Google Cloud Storage, Managed Service for Apache Airflow, Managed Service for Apache Spark, Pub/Sub і Datastream
Переваги
- Практичний досвід роботи з хмарною платформою даних команди на базі Google Cloud
- Наставництво та підтримка під час перевірки коду з боку досвідчених колег