数据语料工程师

数据语料工程师上海全职互联网 / 电子 / 网游职位描述- 构建多模态 AI 数据语料 pipeline，处理 LiDAR / Video / Sensor / 结构化数据，支撑模型训练、仿真与算法评估。 - 基于 NiFi / Dagster 设计数据工作流与数据生产系统，实现数据采集、清洗、转换与 dataset 构建自动化。 - 基于 Daft / Arrow / Parquet / Lakehouse 构建高性能数据处理 pipeline，支持 PB 级数据处理与大规模 dataset workflow。 - 实现多模态数据对齐与融合，包括 LiDAR / Camera / Sensor 时间同步、空间对齐与数据整合。 - 建设 AI 数据资产管理体系，包括 dataset versioning、data lineage、数据质量监控与数据标准化。 - 支撑训练与仿真团队的数据需求，持续优化 dataset 质量、数据分布与数据覆盖度。 - 探索 AI 在数据工程中的应用，如 自动化数据清洗、数据质量检测与 AI-assisted data workflow（Dify / LLM）。职位要求- 具备 3 年以上数据工程、AI 数据工程或大规模数据处理经验。 - 熟悉 Python，具备扎实的数据处理与工程能力。 - 熟悉分布式数据处理框架，如 Spark / Flink / Beam 等。 - 熟悉数据 pipeline 架构与数据工作流编排。 - 理解数据建模、数据质量与 dataset lifecycle 管理。 - 具备复杂数据问题分析能力，能够定位数据质量、数据处理性能或数据一致性问题。 - 认同用工程化方式构建高质量 AI 数据资产。 --- 加分项 - 有 LiDAR / Video / Sensor 等多模态数据处理经验。 - 有 AI dataset 构建或自动驾驶数据 pipeline 经验。 - 熟悉 Daft / Arrow / Parquet / Lakehouse（Iceberg / Delta / Hudi）。 - 有数据质量监控、dataset versioning 或数据治理经验。 - 有 Dify / LLM / AI agent 在数据处理或数据工作流中的应用经验。投递