数据可信的验证

成功/失败(成功表示数据可信验证通过)MemberId 被验证数据的写入方ID LedgerId 被验证数据所属LedgerID JournalSequence 被验证数据在所属Ledger中的记录编号 RootHash 被验证数据的父节点哈希值 WriterPubKey 被验证数据的写入方公钥 ...

应用场景

实时数据通道 1.1 接入多种异构数据并投递到下游多种大数据系统通过数据总线,您可以实时接入APP、WEB、IoT和数据库等产生的异构数据,统一管理,并投递到下游的分析、归档等系统,构建清晰的数据流,让您更好的释放数据的价值。...

什么是ETL

行业领先的计算时效:通过DTS强大的数据库流式数据采集能力,ETL既能保障数据的准确性,同时还具备行业领先的计算实效性。灵活的任务监控与管理:ETL提供任务列表页供您进行任务监控和管理,能够对已经搭建的任务进行启停、查看详情等操作...

数据加工(ETL)

行业领先的计算时效:通过DTS强大的数据库流式数据采集能力,ETL既能保障数据的准确性,同时还具备行业领先的计算实效性。灵活的任务监控与管理:ETL提供任务列表页供您进行任务监控和管理,能够对已经搭建的任务进行启停、查看详情等操作...

面临的业务挑战

数据散乱不一致 传统企业的数据具有多样,包括结构化、半结构化以及非结构化的数据数据来源上包含数据数据、日志数据、对象数据以及已有数仓上的存量数据等。这些不同来源、不同格式的数据,各自又有不同的访问和分析方式,而大量...

数据质量教程概述

数据质量是数据分析结论有效和准确的基础。本文为您介绍数据质量保障教程的业务场景以及如何衡量数据质量的高低。前提条件 在开始本教程前,请您首先完成搭建互联网在线运行分析平台教程,详情请参见业务场景与开发流程。业务场景 要...

产品简介

统一数据湖存储阿里云数据湖构建使用阿里云对象存储(Object Storage Service,OSS)作为云上数据湖的统一存储,在云上可以使用多种计算引擎面向不同的大数据计算场景,开源大数据E-MapReduce,实时计算,MaxCompute交互式分析(Hologres)...

数据风险点监控

离线数据风险点监控 数据准确 数据准确数据质量的关键,也是所有离线系统加工时的第一保障要素,详情请参见概述。下面为您介绍使用DataWorks的数据质量(DQC)保障MaxCompute离线数据的准确。说明 执行数据质量需使用DataWorks任务...

数据分析整体趋势

大数据数据库一体化:早期大数据技术以牺牲一定程度一致为基础提供分布式能力,解决了传统单机数据库的扩展不足问题,在MapReduce基础上提供了标准SQL接口,架构上也逐步采用了部分MPP数据库技术;另一方面,分布式数据库也快速发展...

产品优势

本文档主要为您说明阿里云数据库文件存储DBFS的主要优势。数据库文件存储DBFS是阿里云推出的一款针对数据库场景的文件存储。它在性能、弹性、高可用、成本及数据安全等维度上做了诸多技术创新与优化。适合云上自建数据库使用,提供企业级...

如何实现恢复数据一致

全量备份为了尽可能降低对数据库性能影响,采用无锁备份方式,并行拉取数据并备份到OSS上,全量备份会产生不同时间点数据,在数据恢复时,先恢复全量备份数据,然后恢复增量备份数据,利用增量备份恢复的幂等来实现恢复数据一致。...

东软案例

多模型数据融合分析困难,面向海量数据采集终端同时写入数据的并发能力弱,数据且价值密度低导致存储成本高,基于开源软件自建数据存储集群稳定低运维成本高等问题,东软急需新型运维大数据存储引擎支撑,来对运维系统存储引擎升级...

应用场景

访问频度极高业务如社交网络、电子商务、游戏、广告等。...实现对大数据的分布式分析处理,适用于商业分析、挖掘等大数据处理场景。通过数据集成服务可自助实现数据在云数据库 Memcache 版与 MaxCompute 间的同步,简化数据操作流程。

产品优势

AnalyticDB MySQL版是融合数据库、大数据技术于一体的云原生企业级数据仓库服务。相对于业内其他数据仓库或者大数据平台,本文介绍并汇总了核心产品优势。云原生弹性 AnalyticDB MySQL版采用云原生技术架构,实现了存储计算分离,计算资源...

数据质量保障原则

一致 一致通常体现在跨度很数据仓库中。例如,某公司有很多业务数仓分支,对于同一份数据,在不同的数仓分支中必须保证一致。例如,从在线业务库加工到数据仓库,再到各个数据应用节点,用户ID必须保持同一种类型,且长度也要...

限制说明

数据大小 云数据库 Memcache 版支持的单条缓存数据的 Key 最大不超过 1 KB,Value 最大不超过 1 MB,过数据不适合存储。事务支持 云数据库 Memcache 版不支持事务,有事务要求的数据不适合写入,而应该直接写入数据库。使用场景 当...

数据质量管理流程

数据质量的管理流程包括业务数据资产定级、加工卡点、风险点监控和及时监控,您可以构建属于自己的数据质量保障体系。数据质量管理的流程图如下。数据质量管理的流程说明如下:分析业务场景,对数据流转链路上的整个依赖关系,进行资产...

应用场景

互联网类应用 Cassandra能够支持并发低延时的访问需求,具备高可用和弹性扩容能力,适合日志、消息、feed流、订单、账单、网站等各种大数据量的互联网在线应用场景。多活 Cassandra原生支持多DC部署方式,实现更好的可用和容灾能力。云...

聚合支付方案

阿里云从业务扩展数据流动、服务高可用三方面入手,通过多款云数据库产品为利楚扫呗制定聚合支付方案,解决利楚扫呗在业务扩展期遇到的数据存储空间不足、读写性能下降以及大数据分析空缺等问题。业务痛点 武汉利楚商务服务有限公司...

标准版-单副本

标准版-单副本采用单节点架构,可以在没有数据可靠要求的纯缓存场景充分发挥性能优势。警告 单副本架构不能保障数据可用和服务连续,选用前请务必确认风险,不建议您在生产环境中使用该架构的实例。云数据库Redis版服务等级协议不...

产品优势

支持最常见的云上数据库和非数据库类型的数据存储服务,包括对象存储(OSS)、关系型数据库(RDS)、分布式数据库(DRDS)、云原生数据库(PolarDB)、表格存储(OTS)、ECS自建数据库和大数据服务(MaxCompute)。智能化 运用大数据和机器...

自媒体:易撰

所属行业:自媒体 网站地址:易撰 客户介绍 长沙营智信息技术有限公司是专业的新媒体大数据服务商,其旗下知名品牌易撰,基于新媒体大数据挖掘技术及NLP算法分析,为各内容创客、广告主提供全面、科学、精准的大数据分析服务以及大数据架构...

持久内存型

单实例成本对比Redis社区版最高可降低30%,且数据持久化不依赖传统磁盘,保证每个操作持久化的同时提供近乎Redis社区版的吞吐和延时,极提升业务数据可靠。购买方式 创建Redis企业版云盘实例 背景信息 由于内存的价格相对昂贵且容量...

引擎简介

Lindorm Ganos是阿里云推出的一款管理空间几何数据、时空轨迹的时空大数据引擎系统。系统兼容开源GeoMesa、GeoServer等生态,内置了高效的时空索引算法、空间拓扑几何算法等,结合阿里云Lindorm宽表引擎强大的分布式存储能力以及DAL Spark...

亿海蓝-航运大数据的可视化案例

——亿海蓝CTO客户简介亿海蓝是国内领先的航运大数据公司,做为国内最大的AIS数据服务运营商,发展目标是通过大数据技术推动全球航运物流与互联网的融合,加速航运产业转型升级。亿海蓝目前已为全球上百万行业用户提供数据服务,客户涵盖...

数据质量管理流程

数据风险点进行监控,包括数据质量风险和数据及时监控。详情请参见数据风险点监控。根据业务过程中出现的问题,对监控方案进行汇总分析和改进。详情请参见数据质量追溯。icmsDocProps={'productMethod':'created','language':'zh-CN',}...

数据质量概述

背景信息 面对各行各业日趋强烈的大数据建设、管理及应用的诉求,Dataphin应用场景的多样及复杂随之增加。因为业务系统的原始数据的规范无法得以保障,所以Dataphin需要定义数据分析的质量,以满足数据质量的时效、准确、完整...

主备方案介绍

数据库HBase存储海量大数据,在业务场景中往往承载着重要数据,为保障数据的高可用和安全,云数据库HBase提供了主备双活和主备容灾特性。本文介绍云数据库HBase的主备双活和主备容灾特性功能。使用场景 主备双活:大数据量随机读响应...

容量存储型

优势对比 对比项 容量存储型 混合存储型(已停售)(已停止售卖)开源Pika 兼容 兼容部分原生Redis命令 完全兼容原生Redis命令 和原生Redis命令差别较 持久化 可配置半同步或异步同步 异步同步 异步同步 数据分布 全磁盘(阿里云...

产品优势

数据传输服务DTS(Data Transmission Service)支持RDBMS、NoSQL、OLAP等多种数据源之间的数据传输。它提供了数据迁移、实时数据订阅及数据实时同步等多种数据传输方式。相对于第三方数据流工具,DTS提供丰富多样、高性能、高安全可靠的...

技术架构选型

本教程中使用阿里云大数据产品MaxCompute配合DataWorks,完成整体的数据建模和研发流程。完整的技术架构图如下图所示。其中,DataWorks的数据集成负责完成数据的采集和基本的ETL。MaxCompute作为整个大数据开发过程中的离线计算引擎。...

应用场景

云原生数据仓库AnalyticDB MySQL版为千万家企业级客户提供了数据处理ETL、实时在线分析、核心报表、大屏和监控能力,为广大商家和消费者提供稳定的离线和在线数据服务。实时数仓 该场景需要在一个平台上提供统一的在线查询和离线计算的能力...

简介

HBase Ganos是什么 HBase Ganos是阿里云推出的一款包含管理「空间几何数据」、「时空轨迹」、「专题栅格」、「遥感影像」的时空大数据引擎系统。系统兼容开源GeoMesa、GeoServer等生态,内置了高效的时空索引算法、空间拓扑几何算法、遥感...

发展历程

关键里程碑 2009年9月,ODPS(即现在的MaxCompute)大数据平台飞天项目正式启动。2010年10月,阿里巴巴集团自主研发的第一代云计算平台稳定运行。2013年8月,平台的单集群规模已达到5000台。2014年7月,平台开始对外提供服务,完全替换...

DBS沙箱功能概览

背景信息 在海量数据场景下,传统数据库备份服务面临两越来越严重的困难:存储成本:为了保障数据恢复点目标(Recovery Point Objective,RPO),周期的全量和增量备份产生大量重复数据,导致存储成本过高。使用成本:您必须待数据完成...

数据迁移过程中预检查失败

概述 在数据迁移过程中,为保障数据迁移任务的顺利执行,DTS将进行预检查。...数据库可用检查失败 检查目的数据库待迁入的数据库是否可用 目标数据库中待迁入的数据库没有创建 数据库可用检查失败的修复方法 适用于 数据传输服务 DTS&

客户案例

MaxCompute已被广泛应用于各领域处理云上大数据,帮助众多企业解决了海量数据分析问题,同时降低企业运维成本,企业人员可更专注于业务开发。本文为您介绍MaxCompute的精选客户案例。MaxCompute的全量客户案例信息,请参见行业客户案例。...

Napatech案例

业务挑战随着网络数据流量的爆增以及业务可用要求的不断提升,Napatech公司的用户可以将数据包采集和分析的能力提升至200G,然而上层软件产生的流量数据包元数据也爆增,给后台数据库(比如开源的HBase/ElasticSearch)的存储和索引能力...

数据变化监控

我们一谈到数据分析,总离不开大数据,但要发挥大数据分析的真正价值并没有想象的那些容易,DMS倡导:不要等到把数据了才分析。数据管理DMS推出数据变化功能,通过对RDS内核定制,高性能采集每个实例、数据库及表的行数变化,并通过...

功能概览

1.4 生态融合系出飞天,与阿里云大数据系统深度整合,无缝对接MaxCompute、实时计算、交互式分析等产品,打通整个大数据体系。2.产品功能 2.1 数据接入提供多种SDK、API和Flume、Logstash等第三方插件,让您高效便捷的把数据接入到数据总线...
< 1 2 3 4 ... 200 >
跳转至: GO

新品推荐

你可能感兴趣

热门推荐

新人福利专场 阿里云试用中心 企业支持计划 飞天会员助力企业低成本上云 智能财税30天免费试用 云解析DNS新用户首购低至36元/年起 ECS限时升级特惠6.5折