Allataは、組織がデジタル戦略を実践的な事業改善につなげられるよう支援するグローバルコンサルティング企業です。戦略、顧客体験、クラウドとテクノロジー、データ、人工知能の各分野でチームが連携し、クライアントの近代化、パーソナライズ、業務効率化を支援します。自動車、ヘルスケア、物流、金融サービス、ハイテクなどの業界にサービスを提供し、元ITリーダーやコンサルティングの専門家としての経験を生かして、複雑なデジタル施策を導きます。
Databricksデータプラットフォームマネージャー（テキサス州・リモート）
Allataのガバナンスが確保されたLakehouseおよびエンタープライズデータウェアハウスのアーキテクチャと導入を統括します。データパイプライン、セキュリティ、拡張性、データ製品開発を指導します。
仕事内容
- Lakehouseおよびエンタープライズデータウェアハウスのアーキテクチャ、技術選定、リファレンスパターン、統合設計図を策定する。
- マルチテナント型および業界特化型のデータ製品について、概念、論理、物理モデルを作成する。
- データ取り込み、未加工データの保存、キュレーション、提供の各レイヤーを標準化する。
- メタデータ、カタログ、リネージ、データ契約、分類に関するガバナンスの実践方法を確立する。
- アクセス制御、マスキング、暗号化、ネットワーク分割、監査に関するセキュリティとコンプライアンスの統制を定義する。
- プラットフォームの拡張性、高可用性、災害復旧、容量、コスト管理を計画する。
- Databricks、Delta Lake、Delta Live Tables、Fivetran、Azure Data FactoryまたはData Fabric、オーケストレーション、監視ツールの選定と統合を主導する。
- テスト、自動リリース、ロールバック計画を含む、データ資産のCI/CD実践を定めて徹底する。
- バッチおよびストリーミングの取り込み、コンパクション、パーティショニング、ストレージの方式を定義する。
- メトリクス、SLA、ダッシュボード、ログ、トレース、アラートを含む可観測性の標準を定める。
- データエンジニアリングチームに技術的なリーダーシップと指導を提供する。
- 重要なコンポーネントのアーキテクチャとコードをレビューする。
- データプロダクトオーナーや、セキュリティ、インフラ、BI、MLの関係者と協力し、要件をソリューションとロードマップに落とし込む。
- Spark、PySparkまたはScala、Spark SQL、ストアドプロシージャを使って処理モジュールを構築、テスト、デプロイする。
- Databricksおよびデータベースプラットフォーム上でデータパイプラインを開発し、チューニングする。
- DevOpsの実践、Infrastructure as Code、CI/CD、自動テスト、バージョン管理を適用する。
- 複雑なデータ品質、性能、可用性の問題を解決し、継続的な改善を推進する。
応募要件
- エンタープライズデータプラットフォームのアーキテクトまたはテクニカルリードとしての実務経験。
- Delta Lake、Unity Catalog、Delta Live Tables、Auto Loader、Structured Streamingなど、Databricks技術の実践的な知識。
- Spark、PySparkおよび／またはScala、Spark SQL、分散ジョブの最適化に関する高いスキル。
- データウェアハウスおよびLakehouse設計の経験。
- Medallion、Lambda、Kappaパターンの実践的な知識。
- FivetranなどのSaaS、ETL、コネクターツールを統合した経験。
- Airflow、Azure Data Factory、Data Fabricなどのオーケストレーションツールの使用経験。
- MS SQL Server、PostgreSQL、Oracle、Azure SQL、AWS RDS/Auroraまたは同等製品を含む、リレーショナルおよびハイブリッドデータベースの経験。
- Azure DevOps、GitHub Actions、Jenkinsなどを使ったデータパイプラインCI/CDの実務能力。
- .whlファイルやコンテナなどの成果物をパッケージ化してデプロイした経験。
- バッチおよびストリーミング処理、ファイルのコンパクション、パーティショニング、ストレージチューニングの経験。
- クラウドセキュリティ、IAM/RBAC、暗号化、VPC/VNetの概念、クラウドネットワークに関する理解。
- Prometheus、Grafana、Datadog、クラウドネイティブサービスなどの可観測性・監視ツールに関する知識。
- CI/CDパイプラインの自動化とトランクベース開発の経験があれば尚可。
- 高度なPySparkスキルがあれば尚可。
- 高度なSparkワークフローの最適化およびオーケストレーションスキルがあれば尚可。
- Databricks、クラウドアーキテクチャ、またはデータ関連の資格があれば尚可。
- 複雑なデータ問題を特定し、調査して解決する能力。
- 優れた協調性とコミュニケーション能力。
- 新しいツール、技術、手法に関心を持ち、柔軟に取り入れる姿勢。
福利厚生
- フルタイムの職務。
- 機会均等を重視し、包摂的な職場環境。
- 多様性への取り組み。
