Valtechは、組織の顧客体験の向上とデジタルビジネスの発展を支援するグローバルなデジタルエージェンシーです。テクノロジー、マーケティング、データ、AIを組み合わせ、コマース施策、企業のデジタルトランスフォーメーション、マーケティング成果の向上を支援しています。世界各地のチームとオフィスを擁し、企業と連携してデジタル戦略や体験イノベーションに取り組むほか、データを実践的に活用して、より効果的なデジタルの未来を形づくっています。
シニアデータエンジニア――ポルトガル勤務・リモート
Valtechで、分析、AI、本番環境のデータプロダクトを支えるクラウドデータプラットフォームを開発します。スケーラブルなパイプライン、レイクハウスアーキテクチャ、生成AI、機械学習システムを担当します。
仕事内容
- 分析、AI、データプロダクトを支えるクラウドデータプラットフォームを設計、開発、改善する
- 構造化情報と非構造化情報に対応する信頼性の高いバッチ、ストリーミング、ほぼリアルタイムのパイプラインを構築する
- データの取り込み、変換、キュレーション、提供のワークフローを開発する
- DatabricksまたはFabricを用いてレイクハウス設計とメダリオンアーキテクチャを実装する
- 分析、機械学習、因果モデリング、最適化、生成AI、RAG、エージェントベースのアプリケーション向けにキュレーション済みデータセットを作成する
- MLflow、Unity Catalog、Azure ML、および同等のプラットフォームツールを活用して本番AIシステムを支援する
- Airflow、dbt、Databricks Workflows、Azure Data Factory、または同等のツールでデータモデルを作成し、ワークフローを調整する
- データガバナンス、リネージ、品質、アクセス制御、可観測性の実践を確立する
- データの鮮度、パイプラインの信頼性、SLAパフォーマンス、スケーラビリティ、効率、コストを追跡する
- 下流の機械学習およびAIアプリケーション向けにAPI、特徴量入力、分析エンドポイントを提供する
- ステークホルダーとの協働と分析を通じてビジネスニーズを明確化し、洗練する
- データサイエンティスト、MLエンジニア、アナリスト、プラットフォームチーム、ビジネスステークホルダーと緊密に連携する
- データプロダクトの導入を推進し、データとAIの実践を発展させる
応募要件
- Apache SparkとDelta Lakeの実務経験
- PythonとSQLの高度なプログラミングスキル
- バッチおよびストリーミングパイプラインと本番品質のデータプラットフォームを構築した実績
- データモデリング、品質、ガバナンスの原則に関する確かな知識
- AWSのデータサービスとDatabricks Lakehouse、またはMicrosoft Azure/Fabricおよび関連ツールの実務経験
- レイクハウスアーキテクチャと分散データシステムの経験
- パイプラインのスケーラビリティ、信頼性、パフォーマンスに関する深い理解
- 好奇心と優れた問題解決能力
- 部門横断チームでの協働経験
- アジャイルまたはコンサルティング環境での経験があれば尚可
- SnowflakeまたはGCPの知識があれば尚可。ただし必須ではない
- AWSとAzure/Fabric、生成AIおよびAIデータシステム、データパイプラインのCI/CD、Infrastructure as Codeにまたがる専門性があれば望ましいが、必須ではない
- Kafka、Spark最適化、高度な分析と機械学習ワークロード、または大規模分析プラットフォームに関する追加経験があれば望ましい
福利厚生
- 国に応じて、リモート勤務とハイブリッド勤務の柔軟性
- 国際的な異動機会と専門能力開発プログラムを通じたキャリア成長
- 最新のツール、研修、業界の専門家から学ぶ機会
- 競争力のある報酬パッケージ