Itixの中級データエンジニア（リモート、ブラジル）
Itixでデータエンジニアとして、LakehouseパイプラインとRAGソリューションを構築します。 Databricks、Delta Lake、埋め込み、データ品質、ガバナンスに携わります。
仕事内容
- Databricksまたはオープンソースフレームワークで、Delta Lakeのメダリオンアーキテクチャに基づくETL/ELTパイプラインを構築する
- 関連メタデータを含むPDFおよび画像データを処理・標準化する
- ブラジルのLGPDに基づいてデータをキュレーションおよび匿名化し、RAG、少数ショット学習、テストデータセットに活用する
- チャンク分割、埋め込み、増分更新、バージョン管理を含むベクトルインデックスを開発・保守する
- 精度測定とベンチマーク用に、バージョン管理されたゴールデンデータセットを作成する
- フィードバックループの永続化を設計し、品質およびSLAダッシュボードにデータを提供する
- パフォーマンス、コスト、監視、アラートを管理しながら、データベースを推論サービスや外部APIに接続する
- Jobs、CI/CDパイプライン、データ品質テストを通じてワークフローを自動化する
応募要件
- PythonとSQLに関する高度なスキル
- データモデリングおよびメダリオンアーキテクチャまたはLakehouseアーキテクチャの経験
- PDF、画像、テキストなどの非構造化データパイプラインの構築経験（RAG向けの準備を含む）
- Databricks Vector Searchやpgvectorなどのベクトルデータベースおよび埋め込みに関する知識
- データ品質、テスト、バージョン管理の経験
- Delta Lake、WorkflowsまたはJobs、ノートブック、PySpark、Spark SQLを含む実務でのDatabricks経験
- GitとCI/CDの経験
- Azure、AWS、またはGCPでの業務経験
- LGPDおよび機密データの取り扱いに関する知識
- ガバナンス環境でのUnity Catalogの経験
- MLflow、Databricks Model Serving、またはMosaic AIの経験
- Delta Live TablesまたはLakeflowおよびAuto Loaderの経験
- 保険または金融サービス業界での経験
- TerraformまたはDatabricks Asset Bundlesの経験
- Databricks Data Engineer AssociateまたはProfessional認定
福利厚生
- プロジェクトに最適な場所から働ける地理的な柔軟性
- 割引提携制度
- 報奨金付きの従業員紹介プログラム
- 誕生日休暇
- TotalPassまたはGympassの利用
- 健康・ウェルネス施策
- ビーズクッション、ビリヤード台、ビデオゲーム、ラウンジ、設備の整ったキッチン、コーヒーを備えたオフィスのリラクゼーションスペースを利用可能