任务性能提升
ODS 层数据及时性提升
欣和创立于 1992 年，是国内领先的高端调味品生产企业，旗下拥有葱伴侣、六月鲜、六月香、黄飞红、醯官醋等 11 个品牌。欣和产品涵盖酱油、酱、醋、蚝油、有机酱油、休闲零食等多个系列。在全国，每天超过 4000 万家庭在使用欣和的产品。
欣和大数据团队基于它云生态组件与开源框架成功构建了早期大数据平台。但随着多年业务积累，面对复杂的存量技术资产，平台升级面临几个核心挑战：
-
技术栈异构，运维与开发效率瓶颈：平台依赖多种自建与云上组件（它云云原生数仓/EMR/Airflow 等），技术体系分散，导致维护成本高昂，新业务数据需求响应缓慢。
-
业务连续性要求极高：需在保障庞大业务体量零中断的前提下完成跨云平滑迁移，时间紧、范围广、协同难度极大。
针对欣和它云云产品+开源自建组件（StarRocks/ClickHouse/EMR/Flink/Kylin 等）导致的“多引擎、多链路、无平台”困局。我们基于阿里云数据中台产品体系构建了以 MaxCompute+Hologres 为核心的湖仓一体架构。该方案构建了以 MaxCompute（离线计算）、Hologres（实时分析）为核心的云原生技术栈，DataWorks 作为统一调度与数据治理中心。该架构全面替代了客户原开源 ClickHouse、开源 StarRocks、它云云原生数仓等多引擎并存的复杂环境，实现了“流批一体化”处理能力。
面对大规模数据迁移与紧张的项目周期，项目引入一站式湖仓迁移中心（LHM）作为核心引擎，全面提效关键迁移环节。在调度迁移方面，LHM 实现了从原调度系统到 DataWorks 的任务解析、依赖映射与批量自动转换；在数据迁移层面，支持 MaxCompute 外表（OSS）到内表的高效转储；在校验环节，每日自动生成它云云原生数仓与 MaxCompute 间的全量比对结果，持续验证数据一致性，确保迁移可信、可控、可闭环。
在历时 3 个月的大数据迁云项目中，阿里云服务团队与欣和大数据团队紧密协作，成功完成了欣和历史上具有里程碑意义的一次数据架构升级。
-
高效平滑迁移，业务零感知切换：通过科学规划与工具提效，迁移周期较同类项目提前 1~3 个月完成。通过双写、灰度发布等策略，实现了对 BI 报表等业务的无感迁移，真正做到“飞行中换引擎”。
-
数据质量跃升，筑牢可信底座：制定了核心表全表比对、差异控制在 0.0001 以内的高标准验收规范，确保了迁移后数据高度一致，显著提升了数据可信度。
-
架构全面升级，提升数据时效性：构建近实时湖仓一体平台，统一计算与分析服务链路，支持准实时增量同步，显著增强数据处理时效性，为业务提供更快的数据洞察，任务整体耗时从 8 小时降低到 4 小时。
-
复杂系统平稳过渡：面对异构技术栈（它云数仓 → 阿里云生态）重构挑战，完成了 SQL、API 及运维工具的全面适配，保障了系统稳定性。