
シニアデータエンジニア(ブルガリア・リモート)
Valtechでクラウドデータプラットフォームとパイプラインを構築し、分析、AI、データプロダクトを支えます。 AWSやDatabricksなどのクラウド環境に加え、生成AIのユースケースにも取り組みます。
仕事内容
- 分析、AI、データプロダクトを支えるクラウドデータプラットフォームを構築、改善します。
- SparkとDelta Lakeを使用し、信頼性の高いバッチ、ストリーミング、ほぼリアルタイムのパイプラインを構築します。
- 構造化データと非構造化データの取り込み、変換、整理のワークフローを開発します。
- レイクハウスアーキテクチャとブロンズ、シルバー、ゴールドのメダリオンレイヤーを適用します。
- パイプラインやデータモデルの再プラットフォーム化を含め、クラウド間のワークロード移行を支援します。
- 分析、機械学習、因果モデリング、最適化向けに、デプロイ可能なデータセットを作成します。
- LLM、RAG、ベクトルデータフロー、エージェントアーキテクチャなど、生成AIアプリケーション向けのデータパイプラインを開発します。
- Databricks MLflow、Unity Catalog、または同等のツールを使用します。
- 論理データモデルと物理データモデルを作成します。
- Databricks Workflows、Airflow、dbt、または同等のツールでワークフローを調整します。
- イベント駆動型およびストリーミングのアーキテクチャパターンを活用します。
- Unity Catalog、AWS Lake Formation、Microsoft Purview、GCP Dataplexなどを用いて、データガバナンス、リネージ、品質、アクセス制御を管理します。
- データの鮮度、パイプラインの信頼性、SLAの達成状況を監視します。
- API、特徴量入力、分析エンドポイントを通じてデータを提供します。
- パイプラインとインフラの性能、拡張性、コスト効率を高めます。
- ステークホルダーのニーズを明確にし、要件を検討したうえで代替案を提案します。
- データサイエンティスト、MLエンジニア、アナリスト、プラットフォームチーム、ビジネス関係者と連携します。
- チームによるデータプロダクトの活用を支援し、共通の実践方法づくりに貢献します。
応募要件
- シニアデータエンジニアとしての実務経験。
- Apache SparkとDelta Lakeの豊富な実践経験。
- PythonとSQLの高いスキル。
- バッチおよびストリーミングパイプラインと本番データプラットフォームの構築実績。
- データモデリング、データ品質、ガバナンスに関する確かな知識。
- Databricks Lakehouse Platformの豊富な実務経験。
- AWS、GCP、Azure/Fabricのうち、少なくとも1つの主要クラウドに関する深い専門知識。
- 複数のクラウドプラットフォームで働く意欲と能力。
- レイクハウスアーキテクチャと分散システムの経験。
- 拡張性、信頼性、性能に関する深い理解。
- 好奇心と問題解決力があり、部門横断の業務で協力できること。
- ビジネス要件を検討し、必要に応じて問い直せること。
- 変化に柔軟に対応し、複数のプラットフォームで働くことに関心があること。
- アジャイルまたはコンサルティングの経験があれば尚可。
- 他のクラウド環境やクラウド移行の経験があれば尚可。
- Snowflakeの経験があれば尚可。
- RAGパイプライン、ベクトルデータベース、LLM向けデータ準備など、生成AIやAIデータシステムの経験があれば尚可。
- TerraformやCloudFormationを含む、データパイプラインのCI/CDおよびInfrastructure as Codeの経験があれば尚可。
- Kafkaなどのストリーミングツール、Sparkの最適化、またはML・実験プラットフォームの経験があれば尚可。
- データプロダクトや大規模分析プラットフォームの構築経験があれば尚可。
福利厚生
- ハイブリッド勤務を含む柔軟な働き方と、年間25日の休暇。
- 交通費とMultisportカードの費用を会社が一部補助。
- 医療サービスを利用しやすい充実した健康保険。
- 技術やその他のスキルに関する研修、講座、資格取得の費用支援。
- パフォーマンスレビューに基づく個人別のキャリア開発ロードマップ。
- 心理カウンセリングやチームでの対話を含むセルフケアプログラム。
- 快適で生産性を重視したオフィス。
- チームイベントや社内の集まり。
- 専門性を高める機会。
- 共通の価値観に導かれる企業文化。
- 国際的なキャリア機会。
- アクセシビリティ支援を備えたインクルーシブな文化。
関連求人

