
シニア Databricks データエンジニア――ポーランド・リモート契約
Python を使用して、Optiveum のテクノロジー分野の顧客向けに、スケーラブルな Databricks データパイプラインと処理ソリューションを構築します。 複雑なデータセットとクラウドベースのアーキテクチャを対象に、AWS、Azure、Google Cloud Platform を横断して業務を行います。
仕事内容
- 大規模で多様なデータセット向けの Databricks 処理ソリューションを作成する
- クラウドネイティブ技術を使用して Python データパイプラインを開発・改善する
- ソリューションアーキテクトと連携し、データエンジニアリング標準を確立・維持する
- クラウド環境全体でデータの完全性、セキュリティ、スケーラビリティを維持する
- AWS、Azure、Google Cloud Platform 上の複雑なデータワークロード向けにスケーラブルなアーキテクチャを設計する
- 最新のデータフレームワーク、プログラミング手法、DevOps 原則を適用する
応募要件
- 商用データエンジニアリングの実務経験と、Databricks の実践的な知識
- 自動化とデータ変換に対応できる高度な Python スキル
- 主要なクラウドプラットフォームのうち少なくとも 1 つ(AWS、Azure、Google Cloud Platform)での商用経験
- 効果的な文書および口頭でのコミュニケーション能力
- 英語とポーランド語の高度な運用能力
- クエリ最適化やデータモデリングを含む、強固な SQL 知識
- DevOps の実践、CI/CD パイプライン、Terraform や Bicep などの Infrastructure as Code ツールに関する実務知識
- Kafka や Spark Streaming などのリアルタイムストリーミング技術の経験
- Data Lake、Snowflake、Synapse などのクラウドストレージプラットフォームに関する知識
- 分散データ処理における PySpark の実務経験
- Databricks Certified Data Engineer Associate やクラウドデータ認定など、関連する専門資格









