Senior Data Platform & Streaming Architect（高级数据平台与实时流处理架构师）, Shanghai, Shanghai, China / Wuxi, Jiangsu, China

Plaats	Shanghai, Shanghai / Wuxi, Jiangsu, China
Datum geplaatst	woensdag 4 november 2026
Toepassen door	donderdag 3 december 2026
Soort contract	Full time
Soort baan	Fixed Term - Temporary (Fixed Term)
Aanvraag-ID	R0000403257

Beschrijving

Career Area:

Technology, Digital and Data

Job Description:

Your Work Shapes the World at Caterpillar Inc.

When you join Caterpillar, you're joining a global team who cares not just about the work we do – but also about each other. We are the makers, problem solvers, and future world builders who are creating stronger, more sustainable communities. We don't just talk about progress and innovation here – we make it happen, with our customers, where we work and live. Together, we are building a better world, so we can all enjoy living in it.

主要职责

负责自动驾驶后台与现场平台实时数据架构设计，构建覆盖数据接入、消息传输、实时计算、在线存储、查询服务和历史归档的数据链路。
建设和演进基于 Kafka / Pulsar、Flink、CDC 等技术的流式数据基础设施，满足车辆、任务、告警、生产运营等高频数据的实时处理需求。
设计统一的事件模型、数据契约、主题规划、模式管理和版本兼容机制，降低不同产品和服务之间的数据耦合。
建设实时数据处理能力，包括过滤、转换、关联、窗口计算、流式聚合、状态计算、异常检测和实时指标计算。
设计高吞吐、低延迟的数据处理架构，解决消息积压、背压、重复消费、乱序、延迟、数据丢失和大型消息等生产问题。
建立可靠的数据一致性与交付机制，合理使用幂等、重试、检查点、至少一次或精确一次处理等技术策略。
规划 ClickHouse、时序数据库、OLAP及对象存储等在线和历史数据存储架构，平衡查询性能、数据规模、保存周期和基础设施成本。
建设实时数据服务层，为运营中心、数字孪生、调度与协同系统、现场客户端及Agent应用提供统一的数据访问接口。
建设车辆、设备、任务、告警、生产等核心数据的数据质量、数据血缘、元数据和治理机制，建立统一的数据口径。
支持云、矿区本地及边缘环境的数据同步与复制，处理矿区弱网、断网重连、带宽受限、数据补传和多矿区数据隔离等工业场景。
建立数据平台的可观测性和容量管理体系，对吞吐量、端到端延迟、消费积压、失败率、存储增长及关键数据质量进行持续监控。
与后台平台、数字孪生、连接服务、运营智能、调度算法、人工智能平台以及基础设施团队协作，确定数据接口和责任边界。

任职要求

计算机科学、软件工程、数据工程、分布式系统、自动化或相关专业本科及以上学历。
8年以上数据平台、流式计算、分布式系统或大型后台平台研发经验，具有生产级实时数据系统的架构和交付经验。
精通 Kafka、Pulsar 或同类分布式消息系统，深入理解分区、副本、消费组、消息顺序、可靠投递和容量规划。
熟练掌握 Apache Flink、Spark Structured Streaming 或同类流处理技术，具备状态管理、窗口计算、检查点、容错、背压和性能优化经验。
熟悉 CDC、实时ETL/ELT、事件驱动架构以及数据同步方案。
熟悉 ClickHouse、时序数据库、PostgreSQL、对象存储或其他大规模分析型数据存储技术。
扎实理解分布式系统基本原理，包括一致性、可用性、幂等、分布式状态、故障恢复和数据复制。
具备 Java、Scala、Python、Go 或类似语言的生产级工程能力。
熟悉 Kubernetes、容器化部署和云原生数据基础设施。
具有大型生产系统性能分析、容量规划、故障定位及稳定性治理能力。
能够从复杂业务场景中抽象数据模型、事件模型、数据契约及服务接口，并推动跨团队落地。