数据工程师
为 inforcer 的网络安全与 AI 产品构建可扩展的数据平台、集成方案和 ETL 流水线。 为分析、自动化、报告及 AI 项目提供支持。
描述
- 设计并持续演进可扩展的数据湖和现代化平台架构。
- 为结构化和非结构化数据构建存储解决方案。
- 支持数据治理、安全与合规工作。
- 改进数据模型和存储性能。
- 为内部和外部系统开发数据摄取框架。
- 集成 SaaS 平台、数据库、API 和第三方应用。
- 实现批量和实时数据摄取。
- 管理数据同步和变更数据捕获。
- 创建并维护 ETL/ELT 流水线。
- 将原始数据转化为可信、可供业务使用的数据集。
- 监控流水线性能并主动处理问题。
- 提升数据平台的可靠性、可扩展性和自动化水平。
- 建立数据验证和质量控制机制。
- 为关键流水线设置监控和告警。
- 排查数据问题并找出根本原因。
- 维护平台可用性和数据完整性。
- 与业务相关方、分析师、工程师和管理人员协作。
- 为报告、分析和 AI 工作提供可靠数据。
- 参与制定数据架构和平台路线图。
- 记录解决方案并倡导良好的工程实践。
任职要求
- 有数据工程师或类似岗位的实际工作经验。
- 具备扎实的 SQL 技能，并有处理大型数据集的经验。
- 有商业环境下构建 ETL/ELT 流水线的经验。
- 有开发数据集成方案和数据摄取框架的经验。
- 具备扎实的 Python 开发能力。
- 有云端数据环境的工作经验。
- 了解数据建模和数据库设计原则。
- 有 Microsoft Azure 和 Azure Data Lake Storage（ADLS）使用经验。
- 有 Azure Data Factory、Databricks、Apache Spark、dbt 或 Airflow 使用经验。
- 有 Azure Synapse Analytics 或 Snowflake 使用经验。
- 有使用 Git 进行版本控制的经验。
- 有集成 REST API 和使用事件驱动架构的经验。
- 了解 Kafka 或其他流处理技术。
- 了解变更数据捕获（CDC）模式。
- 了解数据治理和主数据管理实践。
- 能够与技术和非技术相关方清晰沟通。
福利待遇
- 持续快速的学习成长机会，并配有完善的支持。
- 高信任度、高自主性的工作环境，让你的工作产生实际影响。
- 沟通透明、坦诚的团队文化。
- 与优秀同事组成的全球团队共事。
- 每月举办团队社交活动。
- 通过员工认可计划奖励出色贡献。
- 包容、多元的工作环境。
