Itix е бразилска технологична и консултантска компания, която помага на организациите да модернизират дейността си чрез софтуерни платформи по поръчка, специализирани екипи за разработка и технологично консултиране. Услугите ѝ включват също поддръжка, анализи и бизнес интелигентност, което позволява на корпоративните клиенти да подобряват процесите си и да използват данните по-ефективно. Itix работи с организации в сфери като промишленост, финанси, здравеопазване, логистика, застраховане, енергетика, химическа промишленост и добивна промишленост, подкрепяни от разпределени екипи в цяла Бразилия.
Инженер по данни на средно ниво в Itix (дистанционна работа, Бразилия)
Присъединете се към Itix като инженер по данни и изграждайте Lakehouse конвейери и RAG решения. Ще работите с Databricks, Delta Lake, embedding-и, качество на данните и управление на данни.
Описание
- Изграждайте ETL/ELT конвейери в Databricks или open-source рамки в рамките на медальонната архитектура на Delta Lake
- Обработвайте и стандартизирайте PDF и графични данни със свързаните метаданни
- Подбирайте и анонимизирайте данни съгласно бразилския LGPD за RAG, few-shot обучение и тестови набори от данни
- Разработвайте и поддържайте векторни индекси с разделяне на части, embedding-и, инкрементални актуализации и контрол на версиите
- Създавайте версионирани златни набори от данни за измерване на точността и бенчмаркинг
- Проектирайте съхранение на обратната връзка и подавайте данни към таблото за качество и SLA
- Свързвайте бази данни с инференс услуги и външни API, като управлявате производителността, разходите, мониторинга и сигналите
- Автоматизирайте работните процеси чрез Jobs, CI/CD конвейери и тестване на качеството на данните
Изисквания
- Напреднали умения по Python и SQL
- Опит с моделиране на данни и медальонни или Lakehouse архитектури
- Опит с изграждане на конвейери за неструктурирани данни от PDF файлове, изображения и текст, включително подготовка за RAG
- Познаване на векторни бази данни и embedding-и, като Databricks Vector Search или pgvector
- Опит с качество на данните, тестване и контрол на версиите
- Практически опит с Databricks, Delta Lake, Workflows или Jobs, notebook-и, PySpark и Spark SQL
- Опит с Git и CI/CD
- Опит с работа в Azure, AWS или GCP
- Познания за LGPD и обработка на чувствителни данни
- Опит с Unity Catalog в управлявана среда
- Опит с MLflow, Databricks Model Serving или Mosaic AI
- Опит с Delta Live Tables или Lakeflow и Auto Loader
- Опит в застраховането или финансовите услуги
- Опит с Terraform или Databricks Asset Bundles
- Сертификат Databricks Data Engineer Associate или Professional
Придобивки
- Географска гъвкавост за работа от мястото, което най-добре отговаря на проекта
- Партньорски отстъпки
- Програма за препоръки на служители с възнаграждение
- Платен почивен ден за рождения ден
- Достъп до TotalPass или Gympass
- Инициативи за здраве и благополучие
- Достъп до офис пространства за почивка с барбарони, билярдна маса, видеоигри, лаундж зона, напълно оборудвана кухня и кафе