使用GenerateDISyncTaskConfigForCreating异步生成创建数据集成同步任务的JSON配置-大数据开发治理平台 DataWorks-阿里云
异步生成同时任务的JSON。
JSON解析组件可以在来源与去向组件间新增JSON解析组件来解析来远侧的JSON数据。
DataWorks数据集成实时ETL支持JSON解析组件使用,可以在来源与去向组件间新增JSON解析组件,对来源侧的JSON数据解析成相应的表数据。
JSON_EXPLODE
MaxCompute JSON_EXPLODE函数支持将JSON数组或JSON对象中的每个元素拆解(展开)成多行记录,本文为您介绍JSON_EXPLODE函数的使用详情以及示例。
阿里云大数据MaxCompute基于UDTF解析JSON日志的案例
因为MaxCompute提供的系统函数有限,所以平台提供了强大的自定义函数(UDF)来进行复杂的数据处理,因为MaxCompute的沙箱机制,所以解析JSON日志串的时候需要使用GSON来进行解析,本例中原始数据可能是从其他DB通过数据集成同步到MaxCompute平台上的,所以MaxCompute可能有个待处理的原始表如下(按照天来同步日志会有个年月日的分区,根据实际业务加上即可): cre.....
本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。
开发与运维
集结各类场景实战经验,助你开发运维畅行无忧
+关注