通过Logstash实现多字段数据整合
在使用Logstash传输数据时，如果您需要通过合并字段来整合数据，例如将a字段和b字段合并为一个新的c字段，然后移除a字段和b字段，可以通过logstash-filter-mutate插件的多个模块实现。此插件为系统默认安装插件，无须再安装，且不支持卸载...
配置DataHub输入组件
配置DataHub输入组件后，可以将DataHub数据源中的数据读取至大数据平台对接的存储系统内，并进行数据整合和二次加工。本文为您介绍如何配置DataHub输入组件。前提条件 已创建离线单条管道，详情请参见 通过单条管道创建集成任务。操作步骤 ...
配置DataHub输入组件
配置DataHub输入组件后，可以将DataHub数据源中的数据读取至大数据平台对接的存储系统内，并进行数据整合和二次加工。本文为您介绍如何配置DataHub输入组件。前提条件 已创建离线单条管道，详情请参见 通过单条管道创建集成任务。操作步骤 ...
亿海蓝-航运大数据的可视化案例
方案亮点：千亿级船舶轨迹时空分析、多元时空数据整合、开发周期短。客户感言“阿里Ganos产品很好地提升了我们对异构时空数据的处理能力。Lindorm高性能、低延迟、高吞吐、稳定性让我们节省了不少运维投入，更多精力投入到业务实现上。——...
配置DM（达梦）输出组件
配置DM（达梦）输出组件，可以将外部数据库中读取的数据写入到DM（达梦），或从大数据平台对接的存储系统中将数据复制推送至DM（达梦），进行数据整合和再加工。本文为您介绍如何配置DM（达梦）输出组件。前提条件 已创建DM（达梦）数据源...
配置DM（达梦）输出组件
配置DM（达梦）输出组件，可以将外部数据库中读取的数据写入到DM（达梦），或从大数据平台对接的存储系统中将数据复制推送至DM（达梦），进行数据整合和再加工。本文为您介绍如何配置DM（达梦）输出组件。前提条件 已创建DM（达梦）数据源...
配置DataHub输出组件
配置DataHub输出组件，可以将外部数据库中读取数据写入到DataHub，或从大数据平台对接的存储系统中将数据复制推送至DataHub，进行数据整合和再加工。本文为您介绍如何配置DataHub输出组件。前提条件 已创建DataHub数据源。具体操作，请参见...
配置ArgoDB输出组件
配置ArgoDB输出组件，可以将外部数据库中读取的数据写入到ArgoDB，或从大数据平台对接的存储系统中将数据复制推送至ArgoDB，进行数据整合和再加工。本文为您介绍如何配置ArgoDB输出组件。使用限制 ArgoDB输出组件支持写入文件格式为orc、...
配置DataHub输出组件
配置DataHub输出组件，可以将外部数据库中读取数据写入到DataHub，或从大数据平台对接的存储系统中将数据复制推送至DataHub，进行数据整合和再加工。本文为您介绍如何配置DataHub输出组件。前提条件 已创建DataHub数据源。具体操作，请参见...
通过Kettle导入至数仓版
背景信息 Kettle是一款非常受欢迎的开源ETL工具软件，主要用于数据整合、转换和迁移。Kettle不仅支持各类关系型数据库和NoSQL数据源（HBase、MongoDB），也支持Excel、Access类型的小型数据源。通过扩展插件，Kettle可以支持更多数据源。更...
使用kettle将本地数据导入AnalyticDB MySQL 2.0
背景信息 Kettle是一款非常受欢迎的开源ETL工具软件，主要用于数据整合、转换和迁移。Kettle除了支持各种关系型数据库，HBase MongoDB这样的NoSQL数据源外，它还支持Excel、Access这类小型的数据源。并且通过这些插件扩展，kettle可以支持...
配置API输出组件
配置API输出组件，可以将外部数据库中读取的数据写入到API，或从大数据平台对接的存储系统中将数据复制推送至API，进行数据整合和再加工。本文为您介绍如何配置API输出组件。前提条件 在开始执行操作前，请确认您已完成以下操作：已创建API...
配置API输出组件
配置API输出组件，可以将外部数据库中读取的数据写入到API，或从大数据平台对接的存储系统中将数据复制推送至API，进行数据整合和再加工。本文为您介绍如何配置API输出组件。前提条件 在开始执行操作前，请确认您已完成以下操作：已创建API...
配置Greenplum输出组件
配置Greenplum输出组件，可以将外部数据库中读取的数据写入到Greenplum，或从大数据平台对接的存储系统中将数据复制推送至Greenplum，进行数据整合和再加工。本文为您介绍如何配置Greenplum输出组件。前提条件 已创建Greenplum数据源。具体...
配置Greenplum输出组件
配置Greenplum输出组件，可以将外部数据库中读取的数据写入到Greenplum，或从大数据平台对接的存储系统中将数据复制推送至Greenplum，进行数据整合和再加工。本文为您介绍如何配置Greenplum输出组件。前提条件 已创建Greenplum数据源。具体...
配置Redis输出组件
配置Redis输出组件，可以将外部数据库中读取的数据写入到Redis，或从大数据平台对接的存储系统中将数据复制推送至Redis，进行数据整合和再加工。本文为您介绍如何配置Redis输出组件。前提条件 在开始执行操作前，请确认您已完成以下操作：...
配置Redis输出组件
配置Redis输出组件，可以将外部数据库中读取的数据写入到Redis，或从大数据平台对接的存储系统中将数据复制推送至Redis，进行数据整合和再加工。本文为您介绍如何配置Redis输出组件。前提条件 在开始执行操作前，请确认您已完成以下操作：...
ETL工作流快速体验
智慧城市人口财产主题分析 DataWorks MaxCompute 数据开发 基础版 以人口、房产等相关数据整合与人口特征提取为例，使用DataStudio 数据开发 模块。通过数据加工处理，并设置调度策略，实现数据处理的自动化，从而向您展示智慧城市项目下...
参考：渐进式计算
即第n+1天执行只需要处理当天的增量数据，再和之前6天计算好的数据整合后得到过去一周的结果。第n+1天执行时的数据不会被重复计算，因此计算量减少了70%。说明 由于范围查询场景在第一次使用渐进式计算时，需要计算出每一天的中间结果，...
配置OSS输出组件
配置OSS输出组件，可以将外部数据库中读取的数据写入到OSS，或从大数据平台对接的存储系统中将数据复制推送至OSS，进行数据整合和再加工。本文为您介绍如何配置OSS输出组件。前提条件 已创建OSS数据源。具体操作，请参见 创建OSS数据源。...
配置Amazon S3输出组件
配置Amazon S3输出组件，可以将外部数据库中读取的数据写入到Amazon S3，或从大数据平台对接的存储系统中将数据复制推送至Amazon S3，进行数据整合和再加工。本文为您介绍如何配置Amazon S3输出组件。前提条件 已创建Amazon S3数据源。具体...
配置Amazon S3输出组件
配置Amazon S3输出组件，可以将外部数据库中读取的数据写入到Amazon S3，或从大数据平台对接的存储系统中将数据复制推送至Amazon S3，进行数据整合和再加工。本文为您介绍如何配置Amazon S3输出组件。前提条件 已创建Amazon S3数据源。具体...
配置Kafka输入组件
配置Kafka输入组件后，可以将kafka数据源中的数据读取至大数据平台对接的存储系统内，并进行数据整合和二次加工。本文为您介绍如何配置Kafka输入组件。前提条件 在开始执行操作前，请确认您已完成以下操作：已创建Kafka数据源。具体操作，...
FineBI
您可以通过FineBI连接 云原生数据仓库AnalyticDB MySQL版，以可视化的形式帮助您进行多样数据管理，例如过滤、分组汇总、新增列、字段设置、排序等，极大的提升了数据整合的便利性和效率。前提条件 了解FineBI与 AnalyticDB MySQL版 之间的...
配置FTP输入组件
FTP输入组件适用于从FTP中将数据读取至大数据平台对接的存储系统内，进行数据整合和再加工。本文为您介绍如何配置FTP输入组件。前提条件 已创建FTP数据源，详情请参见 创建FTP数据源。进行FTP输入组件属性配置的账号，需具备该数据源的同步...
配置FTP输入组件
FTP输入组件适用于从FTP中将数据读取至大数据平台对接的存储系统内，进行数据整合和再加工。本文为您介绍如何配置FTP输入组件。前提条件 已创建FTP数据源，详情请参见 创建FTP数据源。进行FTP输入组件属性配置的账号，需具备该数据源的同步...
FineBI连接MaxCompute
您可以通过FineBI以可视化的形式进行多样化数据管理，例如过滤、分组汇总、新增列、字段设置、排序等，提升数据整合的便利性和效率。更多FineBI信息，请参见 FineBI。前提条件 在执行操作前，请确认您已满足如下条件：已创建MaxCompute项目...
无感数据集成（Zero-ETL）
ETL是将上层业务系统的数据经过提取（Extract）、转换清洗（Transform）、加载（Load）到数据仓库的处理过程，目的是将上游分散的数据整合到目标端数仓，通过在数仓中做进一步的计算分析，来为业务做有效的商业决策。传统的ETL流程通常会...
无感集成（Zero-ETL）
ETL是将上层业务系统的数据经过提取（Extract）、转换清洗（Transform）、加载（Load）到数据仓库的处理过程，目的是将上游分散的数据整合到目标端数仓，通过在数仓中做进一步的计算分析，来为业务做有效的商业决策。传统的ETL流程通常会...
如何对JSON类型进行高效分析
包括数据清洗、数据整合、数据转换、数据增强和数据聚合等操作。数据加载（Loading）：将经过转换的数据加载到数据仓库中，包括维度表和事实表。数据管理（Management）：对数据仓库中的数据进行管理，包括数据备份、数据恢复、数据安全等...
数仓规划概述
数据集市与主题域 数据集市与主题域通常位于应用层，面向用户的实际业务需求，对指定的某类业务进行场景或产品的细粒度划分，制定不同分析视角，基于公共层的整合数据进行业务个性化的数据统计。数据集市 数据集市是对某个业务分类制定细化...
数据集市
通常位于数据应用层，依赖于公共层的整合数据。本文为您介绍如何创建数据集市并管理主题域。前提条件 已创建业务分类，用于对指定业务进行特定场景化的细分。详情请参见 业务分类。背景信息 数据集市是对某个业务分类制定细化的业务主题，...
产品优势
整体性能的诊断报告：整合数据库自治服务DAS的部分功能，掌握数据库实例的性能状况，有效保障数据库服务的稳定、安全及高效。更多信息，请参见 数据库性能。变更异常回滚：快速找到异常时间段内的相关变更，生成逆向的回滚语句，修复数据。...
文档修订记录
DataWorks数据安全治理路线 2023年12月更新记录 时间 特性 类别 描述 产品文档 2023.12.29 新增功能 数据开发 若您要在DataWorks中进行数据建模、数据开发或使用运维中心周期性调度任务，需先将已创建的数据源或集群绑定至数据开发...
数据建模：智能数据建模
数据标准整合，统一灵活对接 同一数据不同描述，企业数据管理难、内容重复、结果不准确。如何制定统一的数据标准又不打破原有的系统架构，实现灵活对接上下游业务，是标准化管理的核心重点之一。数据价值最大化，企业利润最大化 在最大程度...
OceanBase 4.x 简介
本文主要介绍 OceanBase 数据库 4.x 版本的功能特性。4.x 版本提供更多的规格选择，更优的运维体验，更强的产品性能，更高的可用能力和更高的性价比。...更高的性价比 支持历史库、低成本存储、数据库整合，实现了高可用下的低成本。
数据库性能
数据管理DMS整合了数据库自治服务DAS的部分功能，可以帮助您掌握数据库实例的性能状况，快速、精准、有效地优化数据库服务。前提条件 如果您的数据库的管控模式为自由操作或稳定变更，并且您拥有实例的登录权限，当您登录目标实例后您将...
产品更名公告
为了帮助阿里云用户更好地应对不断加剧的数据安全挑战，2021年01月28日，阿里云整合敏感数据保护（SDDP）等产品提升了数据安全防护能力，正式发布数据安全中心。原产品名称由敏感数据保护（SDDP）正式变更为数据安全中心（DSC）。如给您...
概述
数据标准整合，统一灵活对接 同一数据不同描述，企业数据管理难、内容重复、结果不准确。如何制定统一的数据标准又不打破原有的系统架构，实现灵活对接上下游业务，是标准化管理的核心重点之一。数据价值最大化，企业利润最大化 在最大程度...
分析外部OSS上的数据
使用该功能后，数据架构如下图所示：该架构既解决了数据应用层（ADS）的存储成本，同时也实现了高性能的“二次”即席分析以及离线或在线数据的整合分析。注意事项 CREATE 语句中必须添加 COMMENT='columnar=1' 和 CONNECTION 信息。当查询...
- 产品推荐
- 这些文档可能帮助您