Github实时数据同步与分析
本文以使用DataWorks实时同步公共数据至Hologres，并通过Hologres进行实时数据分析为例，为您示例DataWorks的数据同步能力与Hologres的实时分析能力。本教程以申请免费资源为例为您示例详细操作步骤，您也可以使用付费资源，操作类似。教程...
阿里云实时数仓产品Hologres的应用场景
典型应用场景如下：实时查询MaxCompute离线数据。分析MaxCompute离线数据报表。输出MaxCompute离线数据的在线应用，例如RESTful API的使用。联邦分析实时数据和离线数据。业务数据分为冷数据和热数据，冷数据存储在离线数据仓库MaxCompute...
数仓加速查询
本文以GitHub公开事件数据为例，为您介绍使用Hologres加速查询MaxCompute，并对接BI分析工具（本文以DataV为例），实现实时分析离线数据的通用架构与核心步骤。示例架构 搭建离线数仓时，Hologres可直接读取离线数仓MaxCompute中的数据，并...
互联网、电商行业离线大数据分析
通过阿里云MaxCompute、云数据库RDS MySQL、DataWorks等产品，可以实现互联网、电商网站的离线数据分析，且支持通过DataV大屏展示分析后的业务指标数据。概述 电商网站的销售数据通过大数据进行分析后，可以在大屏幕展示销售指标、客户指标...
基于GitHub公开事件数据集的离线实时一体化实践
本文为您介绍如何基于GitHub实时事件数据通过MaxCompute构建离线数仓、通过Flink和Hologres构建实时数仓，然后通过Hologres和MaxCompute分别进行实时与离线数据分析，从而实现实时离线一体化解决方案。背景信息 随着社会数字化发展，企业对...
基于GitHub公开事件数据集的离线实时一体化实践
本文为您介绍如何基于GitHub实时事件数据通过MaxCompute构建离线数仓、通过Flink和Hologres构建实时数仓，然后通过Hologres和MaxCompute分别进行实时与离线数据分析，从而实现实时离线一体化解决方案。背景信息 随着社会数字化发展，企业对...
2023年
授权实践 2023-09-14 新增（邀测）MaxCompute Notebook使用说明 新说明 MaxCompute Notebook是由MaxCompute提供的全托管、交互式数据分析挖掘模块，为数据工程师、数据分析师及数据科学家等人员提供Web交互式开发环境。支持用户通过SQL、...
Hudi概述
近实时数据分析 Hudi支持多种数据分析引擎，包括Hive、Spark、Presto和Impala。Hudi作为一种文件格式，不需要依赖额外的服务进程，在使用上也更加的轻量化。增量数据处理 Hudi支持Incremental Query查询类型，您可以通过Spark Streaming...
永洪BI
本文介绍如何通过永洪BI连接 云原生数据仓库AnalyticDB MySQL版 集群并进行实时数据分析。前提条件 安装MySQL JDBC驱动。安装永洪BI工具。如果您需要通过外网连接 云原生数据仓库AnalyticDB MySQL版 集群，请先申请外网地址。具体操作，请...
概述
应用场景 实时数据分析是Apache Druid最典型的使用场景。该场景涵盖的面很广，例如：实时指标监控 推荐模型 广告平台 搜索模型 Apache Druid架构 Apache Druid拥有优秀的架构设计，多个组件协同工作，共同完成数据从摄取到索引、存储和查询...
产品简介
StarRocks作为一款兼容MySQL协议的OLAP分析引擎，提供了极致的性能和丰富的OLAP场景模型，包括OLAP多维分析、数据湖分析、高并发查询以及实时数据分析。关于EMR Serverless的更多介绍，请参见 什么是EMR Serverless StarRocks。产品架构 ...
产品概述
StarRocks作为一款兼容MySQL协议的OLAP分析引擎，提供了极致的性能和丰富的OLAP场景模型，包括OLAP多维分析、数据湖分析、高并发查询以及实时数据分析。关于EMR Serverless的更多介绍，请参见 什么是EMR Serverless StarRocks。产品架构 ...
基于MaxCompute进行大数据BI分析
本实践以电商行业为例，通过MaxCompute、DataWorks对业务数据和日志数据进行ETL处理，并同步至分析型数据库MySQL（AnalyticDB MySQL）进行实时分析，再通过Quick BI进行可视化展示。背景信息 MaxCompute：用于进行大规模数据计算，详情请...
概览
支持 自建SQL Server同步至AnalyticDB PostgreSQL 数据传输服务DTS（Data Transmission Service）支持将自建SQL Server同步至 AnalyticDB PostgreSQL版，帮助您轻松实现数据的传输，用于实时数据分析。支持 自建PostgreSQL同步到云原生数据...
Flink+Hologres实时数据大屏
本文以GitHub公开事件数据为例，为您介绍使用Flink、Hologres构建实时数仓，并通过Hologres对接BI分析工具（本文以DataV为例），实现海量数据实时分析的通用架构与核心步骤。示例架构 搭建实时数仓时，Flink可对待处理数据进行实时清洗，...
锁分析
事务阻塞分析：DAS根据 information_schema.processlist，information_schema.innodb_trx，以及 information_schema.innodb_lock_waits（MySQL 5.6和5.7使用该数据）和 performance_schema.data_lock_waits（MySQL 8.0使用该数据）分析事务...
锁分析
事务阻塞分析：DAS根据 information_schema.processlist，information_schema.innodb_trx，以及 information_schema.innodb_lock_waits（MySQL 5.6和5.7使用该数据）和 performance_schema.data_lock_waits（MySQL 8.0使用该数据）分析事务...
锁分析
事务阻塞分析：DAS根据 information_schema.processlist，information_schema.innodb_trx，以及 information_schema.innodb_lock_waits（MySQL 5.6和5.7使用该数据）和 performance_schema.data_lock_waits（MySQL 8.0使用该数据）分析事务...
锁分析
事务阻塞分析：DAS根据 information_schema.processlist，information_schema.innodb_trx，以及 information_schema.innodb_lock_waits（MySQL 5.6和5.7使用该数据）和 performance_schema.data_lock_waits（MySQL 8.0使用该数据）分析事务...
构建数据仓库
DataWorks具有通过可视化方式实现数据开发、治理全流程相关的核心能力，本文将为您介绍DataWorks在构建云上大数据仓库和构建智能实时数据仓库两个典型应用场景下的应用示例。构建云上大数据仓库 本场景推荐的架构如下。适用行业：全行业...
数据同步概述
实时数仓Hologres是一款兼容PostgreSQL 11协议的实时数仓，与大数据生态无缝连接，支持高并发地实时写入，数据写入即可查，同时也支持离线数据的加速查询、实时数据和离线数据联邦分析，助力快速搭建企业级实时数仓。Hologres数据同步说明 ...
文档更新动态（2022年之前）
通用功能 查看行为数据 2020年04月 时间 特性名称 类别 描述 使用范围 产品文档 2020-04-09 数据源 功能拓展 支持创建离线数据源和实时数据源，通过数据源将业务数据引入Dataphin平台。通用功能 数据源 2020-04-09 计算设置 功能拓展 支持...
选型配置说明
集群类型 场景介绍 核心组件 DataLake 云原生数据湖场景，提供Hive和Spark计算引擎，适用于数据湖场景和离线数据分析等情况，支持多种数据湖格式如DeltaLake、Hudi和Iceberg。HDFS、YARN、Hive、Spark、Presto、Impala、JindoData、...
数据洞察
该功能利用AI技术辅助数据分析，帮助您解析复杂数据，并为业务决策提供支持。权限说明 已拥有数据分析权限，查看角色权限列表请参见：数据分析预设角色权限列表。角色授权，授权操作请参见：添加空间成员并管理成员角色权限。前提条件 数据...
应用场景
数据分析：实现了实时数据分析生成的数据可以直接用于Serving，从而实现了实时和离线数据的统一融合。实时数据建模：提供了实时数据建模聚合表，以支持实时聚合能力。强大的引擎和优化器保证了数据库在实时数据建模时的高效性。实时更新：...
概述
仪表盘是数据分析和数据展示的画布，在仪表盘中可以做实时的数据分析，也可以将数据制作为报表进行展示或分享。大屏是针对大屏幕的特殊数据展示画布，支持灵活自定义的样式配置。应用场景 安全自助式数据分析 基于DMS安全管控底座，确保...
应用场景
数据分析：实现了实时数据分析生成的数据可以直接用于Serving，从而实现了实时和离线数据的统一融合。实时数据建模：提供了实时数据建模聚合表，以支持实时聚合能力。强大的引擎和优化器保证了数据库在实时数据建模时的高效性。实时更新：...
背景信息及准备工作
您可以将OSS数据的查询分析结果以BI报表形式展现，帮助您轻松自如地完成数据分析、业务数据探查、报表制作等工作。本示例主要介绍如何使用OSS+DLA+Quick BI实现数据的存储、交互式查询分析、输出BI报表的整体数据处理流程。适用于，日志、...
购买指引
产品版本 入门版 标准版 高级版 版本选择建议 小型数据团队 中小型数据团队 中型数据团队 功能规格 数据同步 离线数据同步 离线数据同步 实时数据同步 配置化数据同步 离线数据同步 实时数据同步 配置化数据同步 多引擎数据计算任务编排 ...
E-MapReduce弹性低成本离线大数据分析
大数据是一项涉及不同业务和技术领域的技术和工具的集合，海量离线数据分析可以应用于多种商业系统环境，例如，电商海量日志分析、用户行为画像分析、科研行业的海量离线计算分析任务等场景。离线大数据分析概述 主流的三大分布式计算框架...
Dataphin支持的数据源
说明 在内置的数据源类型中，未有所需接入的数据源类型时，您可自定义离线或实时数据源类型，并将自定义的数据源对接到Dataphin，以满足不同的数据源接入需求。具体操作，请参见：新建离线自定义源类型 新建实时自定义源类型 数据源说明 ...
云原生多模数据库Lindorm助力蚂蚁链IoT数据降本
业务挑战 业务增速快，数据总量不断增大，MySQL出现性能瓶颈 日增数据量大，一年数据增量超6TB，存储成本压力大 数据冷热区分明显，和数据生成时间强相关 数据需要实时归档到离线进行分析 解决方案 阿里云Lindorm历经阿里众多核心服务的大...
审计日志
自定义数据源（支持新建离线数据源和实时数据源）AddCustomDataSource 创建实时自定义数据源。UpdateCustomDataSource 更新实时自定义数据源。DeleteCustomDataSource 删除实时自定义数据源。我的权限 ApplyPrivilege 申请权限。...
Dataphin支持的数据源
说明 在内置的数据源类型中，未有所需接入的数据源类型时，您可自定义离线或实时数据源类型，并将自定义的数据源对接到Dataphin，以满足不同的数据源接入需求。具体操作，请参见：新建离线自定义源类型 新建实时自定义源类型 数据源说明 ...
Quick BI查询加速
提供海量数据实时在线分析服务，支持拖拽式操作，提供了丰富的可视化效果。Quick BI提供了通过DLA加速MaxCompute查询的功能。当您的报表基于MaxCompute数据源创建时，您可以在Quick BI上配置DLA加速引擎，通过DLA Presto为MaxCompute数据源...
核心能力
一站式大数据开发平台，提供一致性开发体验 一站式数据同步 支持离线/实时数据传输。周期同步任务调度统一管理。主流空间数据库全面支持同步汇聚（超图SDX+，ArcGIS SDE，PostGIS，Ganos）。自动灵活的数据探查 物理表预览和表数据自动探查...
简介
实时分析：依托日志服务，提供实时日志分析、开箱即用的报表中心和下钻分析的功能，帮助您准确地了解数据库执行状况、性能和安全问题。实时告警：支持基于特定指标定制实时的监测与告警，当关键业务出现异常时可通过多种途径通知告警。注意...
情绪分析
该功能通过线上数据分析客服和客户间通话的情绪分布、情绪变化、情绪意图并挖掘出其中的热点高频词。情绪分析数据维度 在情绪分析功能中系统支持以情绪分类、时间维度、数据来源和角色维度进行分析。情绪分类：系统根据情绪将全部通话分为...
集成与开发概览
通过可视化拖拉拽操作、SQL语句（100%兼容Flink）两种方式配置流式加工任务，实现流式数据的抽取、数据转换和加工、数据装载能力，适用于日志、在线数据实时加工处理、实时统计报表等各类实时数据开发场景。数据开发 任务编排。更多信息，...
应用场景
实时通道 通过数据总线，业务数据能够实时汇入大数据系统，缩短数据分析周期。2.实时数据清洗和分析 2.1 接入多种异构数据，实时清洗并归一化 通过数据总线和实时计算，您可以把多种数据源的异构数据实时清洗成统一的结构化数据，为进一步...
- 产品推荐
- 这些文档可能帮助您