
データエンジニア—Databricks、Snowflake、Spark
Databricks と Snowflake を活用して拡張性の高いデータプラットフォームを構築し、ETL パイプライン、データモデル、データ取り込み基盤を開発します。 Spark、Python、SQL を用いてデータ処理と分析を実現します。
仕事内容
- シニアデータエンジニアやアーキテクトと連携し、拡張性の高いデータパイプラインとワークフローを構築、調整、保守する
- Databricks、Spark、Python、SQL を使って ETL/ELT プロセスを作成する
- 構造化データと非構造化データ向けの取り込み基盤を設計、実装する
- Snowflake のデータモデル、データマート、分析用データセットを構築、保守する
- パイプラインを監視して問題を解決し、性能、信頼性、拡張性を高める
- ビジネス関係者、アナリスト、データサイエンティストと協力し、データのニーズを明確にしてソリューションを提供する
- アーキテクチャに関する議論、概念実証、プロセス改善に参加する
- 安定した運用と知識共有を支えるため、データフロー、技術設計、実装内容を文書化する
- 各データプラットフォームでデータ品質、セキュリティ、ガバナンスの基準を適用する
応募要件
- コンピューターサイエンス、情報技術、工学、データサイエンス、または関連する技術分野の学士号または修士号
- SQL とデータベースの概念に関する確かな基礎知識
- Python または同等の言語でプログラミングできること
- データウェアハウス、ETL/ELT プロセス、データモデリングへの理解
- 授業、インターンシップ、認定資格、ハッカソン、個人プロジェクトなどを通じて、Databricks、Apache Spark、Snowflake、またはクラウドデータプラットフォームに触れた経験
- Azure、AWS、Google Cloud Platform の基本的な知識があれば尚可
- 高い分析力と問題解決力があり、最新のデータエンジニアリングツールを学ぶ意欲があること
- 明確なコミュニケーション力と協調性



