在TDX实例中基于BigDL PPML构建全...Spark大数据分析应用
本文以运行Spark大数据分析为例，介绍如何基于阿里云TDX实例，运行分布式的端到端安全的大数据分析应用（本文以运行Simple Query用例为例）。更多大数据AI应用使用说明，请参见 BigDL PPML Tutorials&Examples。步骤一：部署Kubernetes集群...
客户案例
打造离线实时一体化数据中台，构建统一、完整的大数据应用链路，服务内部几大核心业务。全链路数据治理提高数据可用性，让数据在中台进行自由流动，保证数据准确、准时、一致，成本削减1亿元。提高业务迭代效率，数据更新频率由1天变成10...
数据集成概述
面对各行各业对大数据的应用，数据集成会有很多的诉求，包括能够简单高效的配置大量数据表的同步任务、能够集成多种异构数据源、能够实现对数据源的数据进行轻度预处理、能够实现数据同步任务的调优（例如容错，限速，并发）等。...
健康检查服务
架构健康检查的主要针对业务系统和大数据应用的现有架构，通过对各业务系统的主机、网络、存储等各方面的运行参数和指标分析，提供综合的健康检查结果和结论。服务范围不包含：针对架构改造的技术支持；对业务系统和大数据应用的开发；具体...
使用ARMS应用监控数据指标绘制自定义的Grafana大盘
如果您需要使用ARMS应用监控数据指标绘制自定义大盘，只需要创建一个Grafana专家版或高级版工作区，将Prometheus实例中的应用数据通过Grafana服务展示，就可以实现自定义大盘。前提条件 已开通应用监控和Prometheus监控。具体操作，请参见 ...
支持STS的云服务
关系型数据库 rds√关系型数据库 云数据库MySQL版 rds√关系型数据库 云数据库SQL Server版 rds√关系型数据库 云数据库PostgreSQL版 rds√关系型数据库 云数据库PPAS版 rds√关系型数据库 云数据库专属集群 rds√ 云数据库Redis版-kvstore...
一键克隆RDS MySQL至PolarDB MySQL版
全量初始化会并发执行INSERT操作，导致目标数据库的表产生碎片，因此全量初始化完成后目标实例的表空间比源实例的表空间大。如同步对象为单个或多个表（非整库），那么在数据同步时，勿对源库的同步对象使用gh-ost或pt-online-schema-...
物联网数据处理分析架构参考
本文以一个企业案例介绍如何基于阿里云物联网平台的数据服务，搭建企业物联网大数据应用架构。背景信息 随着物联网应用场景的深入，企业开始挖掘设备上传的数据，用于客户端应用扩展和服务营收，用于数字化运营、风控，帮助企业高效治理，...
时序引擎应用开发简介
连续查询应用于大数据查询的场景。通过创建连续查询对新写入的数据预聚合处理，减少实时查询的数据量，降低访问延迟。预降采样 预降采样应用于较长时间范围的数据查询场景。在数据写入时按照设置的规则将原始数据降低精度存储，降采样查询...
RDS搭配大数据计算服务实现大规模数据计算
开放数据处理服务又称为大数据计算服务（MaxCompute，原名ODPS），可服务于批量结构化数据的存储和计算，提供海量数据仓库解决方案以及针对大数据的分析建模服务。通过数据集成服务，可将RDS数据导入MaxCompute，实现大规模的数据计算，如...
实例规格族
适用场景：通用的企业级应用（Java）内存型或者关系型数据库类应用 大数据类应用（Kafka、ElasticSearch等）Web类应用 AI训练与推理 音视频转码类应用 g8a包括的实例规格及指标数据如下表所示。实例规格 vCPU 内存（GiB）网络带宽基础/突发...
概述
从OSS上传和下载数据时，您的应用程序可以轻松实现每秒数千个事务的请求性能。您的应用程序可以实现存储空间（Bucket）中每个分区（OSS按对象名的字母序排列对象，并按照数据量和请求QPS来拆分分区）每秒至少 3,500 个PUT/COPY/POST/DELETE...
应用场景
访问频度极高业务 如社交网络、电子商务、游戏、广告等。...实现对大数据的分布式分析处理，适用于商业分析、挖掘等大数据处理场景。通过数据集成服务可自助实现数据在云数据库 Memcache 版与 MaxCompute 间的同步，简化数据操作流程。
数据资产等级定义
例如，一个A2等级的数据应用产品对应的导出表Table1、Table2、Table3，几个表都打上 A2-xxx 数据产品标记。根据血缘往上追溯，将这几个表的上游都打上A2的标记，一直标记到源数据业务系统，如图所示。icmsDocProps={'productMethod':'...
基于混合负载的查询优化
传统数仓方案，通过组合多套数据库与大数据产品，利用各自不同的优势来解决不同的分析场景，带来的问题就是整个数据冗余，同时管理多个异构系统的代价。完备数据仓库，首要解决的问题包括：如何更好的支持数据库场景下的交互式分析以及大...
快速上手可观测链路 OpenTelemetry 版
通过OpenTelemetry上报C++应用数据 通过Jaeger上报C++应用数据 开始监控Ruby应用 通过OpenTelemetry上报Ruby应用数据 开始监控Swift应用 通过OpenTelemetry上报Swift应用数据 开始监控Android应用 通过OpenTelemetry上报Android应用数据 按...
数据资产定级
数据的资产等级，可以根据数据质量不满足完整性、准确性、一致性、及时性对业务的影响程度进行划分。数据等级定义如下： 毁灭性质：数据一旦出错，将会引起重大资产损失，面临重大收益损失等。标记为A1。全局性质：数据直接或间接用于企业...
数据资产定级
数据的资产等级，可以根据数据质量不满足完整性、准确性、一致性、及时性对业务的影响程度进行划分。数据等级定义如下： 毁灭性质：数据一旦出错，将会引起重大资产损失，面临重大收益损失等。标记为A1。全局性质：数据直接或间接用于企业...
Dataphin独立部署版本如何实现在两套不同的环境或者两...
跨租户发布数据用于迁移租户间的数据，以满足不同数据的应用场景，帮助企业实现数据应用价值最大化。具体操作如下： 在Dataphin产品首页，单击顶部菜单栏的管理中心。在管理中心页面，单击左侧导航栏的跨租户发布设置。在跨租户发布设置...
数据服务概述
前提条件 已购买 数据服务 增值服务，开通Dataphin 常见数据应用问题 一般从需求提出到需求交付分为：需求提出-需求分析-产品设计开发文档-开发人员进行开发-功能测试-功能上线-需求交付，整个过程需要安排迭代、开发、测试，时间周期约为...
概述
对接实时计算，用于业务数据驱动的智能运营、IoT、监控大屏等数据应用。数据同步，比如更新cache，同步到搜索引擎、数仓、冷存储等。LindormStreams支持实时获取HBase表的数据变更，您可以基于LindormStreams的这个功能构建自己的数据应用...
实现开发生产等多套环境隔离
使用DataWorks进行大数据开发时，支持对开发、测试、生产等环境进行隔离，当您联合使用了其他阿里云产品时，也可根据环境隔离诉求进行对应业务的环境设置与隔离，本文以DataWorks联合EMR、OSS等产品为例，为您介绍如何实现开发生产等多套...
快速上手可观测链路 OpenTelemetry 版
通过OpenTelemetry上报C++应用数据 通过Jaeger上报C++应用数据 开始监控Ruby应用 通过OpenTelemetry上报Ruby应用数据 开始监控Swift应用 通过OpenTelemetry上报Swift应用数据 开始监控Android应用 通过OpenTelemetry上报Android应用数据 按...
使用简介
Ganos Geometry Pyramid可以用于二维空间几何大数据的快速显示。数据要求 类型为Point、Line、Polygon、MultiPoint、MultiLine或MultiPolygon的空间数据表。每条记录必须包含一个唯一的正整数类型的ID字段（uint4/uint8）。必须已经为几何...
使用简介
Ganos Geometry Pyramid可以用于二维空间几何大数据的快速显示。数据要求 类型为Point、Line、Polygon、MultiPoint、MultiLine或MultiPolygon的空间数据表。每条记录必须包含一个唯一的正整数类型的ID字段（uint4/uint8）。必须已经为几何...
添加宜搭数据源
宜搭是阿里巴巴自研的低代码应用构建平台，您可以通过可视化拖拽的方式，快速完成数据应用的搭建。本文为您介绍在DataV中添加和使用宜搭数据源的方法，以及相关参数配置说明。前提条件 已通过钉钉登录 宜搭控制台 创建一个宜搭应用数据表单...
使用简介
Ganos Geometry Pyramid可以用于二维空间几何大数据的快速显示。数据要求 类型为Point、Line、Polygon、MultiPoint、MultiLine或MultiPolygon的空间数据表。每条记录必须包含一个唯一的正整数类型的ID字段（uint4/uint8）。必须已经为几何...
自媒体：易撰
长沙营智信息技术有限公司是专业的新媒体大数据服务商，其旗下知名品牌易撰，基于新媒体大数据挖掘技术及NLP算法分析，为各内容创客、广告主提供全面、科学、精准的大数据分析服务以及大数据架构解决方案。公司多年来坚持创新、创意发展，...
什么是EMR on ECS
ECS将EMR的大数据处理功能与ECS的容器化部署优势相结合，使得您可以更加灵活地配置和管理EMR集群，从而更好地适应复杂的数据处理和分析场景。通过EMR on ECS，您可以快速创建、管理和运维EMR集群，同时也能够更加高效地使用计算和存储资源...
添加宜搭数据源
宜搭是阿里巴巴自研的低代码应用构建平台，您可以通过可视化拖拽的方式，快速完成数据应用的搭建。本文为您介绍在DataV中添加和使用宜搭数据源的方法，以及相关参数配置说明。前提条件 已通过钉钉登录 宜搭控制台 创建一个宜搭应用数据表单...
项目概述
在蚂蚁隐私计算服务平台的数据应用中，以项目的形式对成员、权限、节点和数据等要素进行隔离。根据不同的应用类别，项目分为 FL、MPC、SCQL 和 PSI 四种类型。在进入项目完成数据的开发和应用前，您需要先创建项目，并完成项目的配置。在...
企业级HBase介绍
2019杭州云栖大会Topic-基于企业级HBase的大数据存储处理 视频地址请点击 注：选择 9.27AM-NoSQL数据库专场 视频时间为01:54:20至02:23:11
发布与查看报表
在左侧导航栏，选择 数据服务>数据应用 后，单击 数据报表 页签。单击 报表 页签，找到待发布报表，单击 操作 栏的 编辑。在 数据分析报表工作台，单击右上角的 预览，查看数据展示和样式。单击页面右上角的 发布，单击 确认。发布完成后，...
应用列表
应用ID：创建应用后系统生成的数据 应用名称：创建应用时，用户填写的名称 操作：对该应用进行的操作，下文将对各个操作进行详细说明 创建应用 创建新的应用。应用类型分为静态业务和动态业务，静态业务可以配置多组源域名；目前动态业务...
基于AnalyticDB实现城市公交系统智能化
和DRDS建设的完整解决方案，将人、车、线、站的大数据资源及相关配套资源进行商业化转换，引领行业提升公交系统的创新能力和服务水平，助力“互联网+城市公交”的提升发展。业务挑战 启迪公交（北京）科技股份有限公司（以下简称启迪公交）...
数据模型概述
DDM目前支持逻辑模型和物理模型建模，其中物理模型又分和关系型数据模型和非关系型数据模型，支持的大数据引擎为MaxCompute、Hive。说明 Hadoop的MR调优参数属于底层，DDM是数据建模工具，支持设置表、字段等物理属性。
作业优先级管理与成本优化
本文为您介绍MaxCompute作业优先级管理与成本优化。作业优先级 MaxCompute的包年包月计算资源有限，在实际数据开发过程中，系统需要优先保障...由于大数据的动态性和不断变化的性质，成本优化应该持续进行，成本优化流程请参见 成本优化概述。
应用画像
应用画像功能针对单个应用进行多维度分析，输出应用画像分析报告，包括对应用的软件栈、系统信息、对象详情、SQL和调用栈等的评估分析。新建应用画像 登录 数据管理DMS 5.0。在顶部菜单栏中，选择 集成与开发（DTS）>异构数据库迁移（ADAM...
成本优化概述
由于大数据的动态性和不断变化的性质，企业用户成本优化的活动应该持续不断的进行。您可以参考以下流程进行优化： 在使用MaxCompute之前，建议您详细了解付费策略以及预估自己需要使用的资源，选择适合您的付费方式。详情请参见 选择付费...
- 产品推荐
- 这些文档可能帮助您