ETL 时长从 10 小时降到 6 小时
成本降低
森马创立于 1996 年，产品及品牌定位于年轻、时尚、活力、高性价比的大众休闲服饰。2023 年实现营业收入百亿+，旗下涵盖森马、巴拉主品牌以及涵盖时尚、运动、家居等领域的其他子品牌运营。森马在 2010 年实现第一个品牌上市，在 2014 年创建了森马电商。2022-2023 年开始进行两个公司的融合，在这个过程中，其实也伴随着森马股份的一个大数据平台和电商的大数据平台的融合过程。
-
多套数据仓库和数据库导致数据孤岛和烟囱式建模，造成计算和存储冗余，难以管理和满足分析需求。
之前森马运行着四套不同的数据库系统（CK、HANA、Oracle、Hologres），共计约 1200 张表，增加了维护的复杂性和成本。
在搭建开源的数仓时，要保证数据服务的延续性，保留原有的 HANA 这一套链路体系，最后还有合并的电商数仓，即基于 OSS+EMR 的一套数据仓库，3 套数仓属于不同的技术体系，这要求运维团队具备多元化的技术背景，以支持不同系统的运维需求，对于团队是一个不小的挑战。
-
数仓采用多种技术体系导致运维高度依赖特定个人，影响工作效率和数据服务质量，增加管理风险。
基于各个平台搭建的新老数据产品存在数据透出，数据流转合并处理过程中出现数据冲突。尽管通过繁琐的数据流程可以勉强实现数据统一，但由于不同的技术背景和需求接入，导致每个数据产品的数据可能存在差异。多套数仓的开发导致重复计算，分散了开发资源，增加了数据处理的成本。此外，数据链路冗长复杂，技术多元化使得运维难度增大，频繁的故障排查和维护工作严重影响团队的工作生活平衡。
-
当前使用的开源平台无法提供有效稳定的数据服务。
开源平台的技术支持不够及时和有效，尤其是在遇到技术问题时，内部技术专家处理问题的时效性无法得到充分保障。
鉴于森马作为一家服装公司，其核心业务在于零售运营而非技术研发，因此选择使用成熟且稳定的商用云平台是必要的。商用平台不仅能提供稳定的数据服务，还能确保技术支持的及时性和有效性。
-
数据处理性能不足。
由于数据链路冗长复杂，导致数据的处理和分发耗时久。系统通过大数据平台的改造，实现在整个 ETL 链路中，将来自两个 OMS（订单管理系统）和八个品牌的导讯服务的数据，经过清洗、转换后，整合到数据仓库，并最终分发到前置库。整个处理流程可以在 7 小时之内完成。
-
ODS 层迁移：从 15 个系统中抽取了 1800 张表进入数据存储层；源系统包含 SAP HANA、Oracle 12C 和 19C、MySQL、PG。
-
构建森马 CDM 层：梳理和迁移了 8 个品牌基础业务价值链模型，并最终合并生成了订货、采购、批发、全域库存、全域零售、全域会员（CDP）六个基础模块内容。
-
各路数据产品平迁：基于森马 CDM 层数据业务价值链的底座，将订货、采购、批发、全域库存、全域零售、全域会员（CDP）六个基础模块做成了服务，包含历史的 1500 多张表，在数据平移的时候，所有 ADS 层的数据最终数据来源于这六大表。通过控制这六大表的数据质量，有效控制数据平移时的质量。
-
稳定性显著提升：几乎没有因平台技术问题导致的作业失败。
-
开发效率提升：在统一的技术体系下，通过 DataWorks 套件进行数据集成，消除技术孤岛和屏障，整体协同和开发效率有明显提升。
-
ETL 时长缩短：在原先三个数仓体系下，ETL 链路需要 10 个小时，现在缩短到了 6 个小时，使得团队能在 7 点前针对已发出的质量告警进行及时处理。此外，ETL 数据异常得到了有效控制，减少了因数据质量问题带来的投诉，有效提升了数据产品的满意度。
-
基础资源降本增效：两套云链路的资源支出从 300 万/年，降至 180 万/年。