搭配云HBase和Spark构建一体化数据处理平台
下图是业界广泛应用的大数据中台架构。说明 其中HBase和Spark选择云HBase X-Pack。详情请参见 X-pack Spark分析引擎。消息流入：Flume、Logstash或者在线库的Binlog流入 云消息队列 Kafka 版。实时计算：通过X-Pack Spark Streaming实时地...
什么是DataWorks
从2009年起，DataWorks不断沉淀阿里巴巴大数据建设方法论，支撑数据中台建设，同时与数万名政务、央国企、金融、零售、互联网、能源、制造、工业等行业的客户携手，不断提升数据应用效率，助力产业数字化升级。产品架构 DataWorks十多年...
Dataphin管道任务同步csv文件到中台乱码
问题描述 用户同步csv文件数据到中台，发现数据乱码。问题原因 csv编码格式和中台数据库编码格式不一样。解决方案 对齐两边编码格式即可。适用于 Dataphin 管道任务
添加处理后数据到数据管理
数据处理后，需要将处理后的数据添加到数据管理中，以便被用于数仓建设、标签管理等数据中台任务。本文以倾斜数据处理后为例，介绍如何添加处理后数据到数据管理。前提条件 已新建数据处理任务，具体操作，请参见 新建数据处理任务。操作...
数据服务
数据服务提供了数据中台建设过程中的数据服务化能力，面向数据开发者提供覆盖各个加工阶段统一体验的、便捷的数据查询转服务、服务管理、服务运维能力；面向数据资产管理者提供服务的统计分析、服务用量统计分析，实现数据中台建设后半场...
空间数据管理（邀测中）
支持将Shapefile、GeoJSON和CSV文件类矢量数据添加到系统默认的空间数据库或者指定的PostGIS、Ganos数据库，方便对空间数据库进行空间检索、数据质检、血缘记录，打通数据计算引擎...，使得空间数据被用于数仓建设、标签管理等数据中台任务...
功能简介
支持将Shapefile、GeoJSON和CSV文件类矢量数据添加到系统默认的空间数据库或者指定的PostGIS、Ganos数据库，方便对空间数据库进行空间检索、数据质检、血缘记录，打通数据计算引擎...，使得空间数据被用于数仓建设、标签管理等数据中台任务...
数据中台建设架构咨询服务工作说明书
通过阿里云数据中台产品和建设实施方法论，建设【XXX】集团数据中台数据资产目录，基于资产盘点设计数据中台技术规范及总体架构，指导客户构建数据中台建设框架，并按需完成数据中台详细设计。数据中台建设咨询内容包括【业务调研、数据...
统一服务
在数据中台建设过程中，搭建核心处理平台，并根据相关标准要求，将源数据或治理后的数据，按照“全面、高效、统筹”的共享原则，“低延时”、“精准化”的传递给用户，方便更多应用消费数据，实现数据价值。协同管控各种组织机构，为智慧化...
功能简介
在数据中台建设过程中，搭建核心处理平台，并根据相关标准要求，将源数据或治理后的数据，按照“全面、高效、统筹”的共享原则，“低延时”、“精准化”的传递给用户，方便更多应用消费数据，实现数据价值。协同管控各种组织机构，为智慧化...
功能简介
在数据中台建设过程中，搭建核心处理平台，并根据相关标准要求，将源数据或治理后的数据，按照“全面、高效、统筹”的共享原则，“低延时”、“精准化”的传递给用户，方便更多应用消费数据，实现数据价值。协同管控各种组织机构，为智慧化...
切换DNS服务器
本文主要介绍如何在本地块网关控制台中切换DNS服务器。操作步骤 在浏览器中，输入 https://<块网关IP地址>访问本地块网关控制台。输入用户名和密码，单击 确认。在 关于 页面中，单击 切换DNS服务器。在 切换DNS服务器 对话框中，配置DNS...
Dataphin中业务板块、数据域和项目之间的关系
产品名称 Dataphin 产品模块 数据域 概述 本文描述Dataphin业务板块、数据域和项目之间的关系。...项目是一种物理空间上的划分，帮助您管理数据中台建设过程中的物理资源及开发人员。数据域没有公共或私有属性。更多信息 NA 相关文档 NA
HDFS云原生上云方案
是面向海量非结构化数据的分布式文件存储服务，具有弹性、低成本的优势，提供100%的HDFS协议和使用体验，支持企业大数据中的HDFS无缝平滑上云，构建云原生时代的存储计算分离的大数据架构。方案总览 方案优势 简单：Lindorm文件引擎支持100...
添加入库任务
入库后，方便对空间数据库进行空间检索、数据质检、血缘记录，打通数据计算引擎链路，使得空间数据被用于数仓建设、标签管理等数据中台任务。本文主要介绍如何添加入库任务。前提条件 已添加文件类矢量数据，具体操作，请参见 添加文件类...
准备工作
开始使用企业智能数据...说明 ...开通企业智能数据平台 企业智能数据平台默认为关闭状态，使用前需要前往 AnalyticDB PostgreSQL版 控制台开通。...云原生数据仓库AnalyticDB PostgreSQL版控制台。...单击左侧导航栏中的 数据平台。单击 开通数据中台
应用场景
构建数据中台，行业领域模型快速沉淀 场景：快速构建数据仓库，有效治理数据质量，实现政企客户各部门数据的业务协同和共享。痛点： 以政务服务为例，政务服务部门众多，业务系统复杂、流程长，数据来源多且更新频率高；数据口径标准、数据...
概念建模概述
概念建模是Dataphin提供构建业务模型的工具，您可通过Dataphin的建模能力直接在Dataphin构建业务模型，快速将业务理解落地到中台，实现建模/数仓一体化。同时有利于数据消费者更好理解数据和数据对应的业务。本文为您介绍Dataphin数仓规划...
车场心跳数据缺失
如果是边缘车行应用直接调用API&写云端的数据模型表,&先要判断iot中台是否有心跳数据 3.2.1&查看iot中台数据模型是否有心跳数据 SSH& 物联网应用服务平台,&在数据集成里面找到车场心跳（Heartbeat）的模型表，点击管理查看最新的数据：...
步骤二：规划数仓
数仓规划是基于Dataphin建设数据中台的第一步，同时也是数据体系的顶层设计中至关重要的一步。在开始数据开发前，需要完成数据仓库的规划，包括定义数据板块、项目、数据源、计算源和统计周期。本文将指导您完成本教程的规划数仓。背景信息...
数据服务概述
数据服务（OneService）是基于Dataphin建设数据中台的最后一步。数据服务作为统一的数据服务出口，实现了数据的统一市场化管理，有效地降低数据开放门槛的同时，保障了数据开放的安全。前提条件 已购买 数据服务 增值服务，开通Dataphin ...
手机号认证SDK返回码
200024 数据网络切换失败。200025 位置错误（一般是线程捕获异常、socket、系统未授权数据蜂窝权限等，请提工单联系工程师）。200026 输入参数错误。200027 未开启数据网络或网络不稳定。200028 网络请求出错。200038 异网取号网络请求失败...
USE
本文介绍切换至目标数据库的SQL语法。语法 use_statement:=USE database_name;参数说明 参数 说明 database_name 切换的目标数据库名，需要满足以下两点：目标数据库已存在。目标数据库名必须是一个SQL常量或标识符。说明 通过USE语句显式...
步骤五：规范建模
主题域建模：在数据中台, 主题对应一个宏观的分析领域，比如销售分析就是分析"销售"这个主题。联系较为紧密的主题的集合就是主题域。每一个行业都可以拆分为有多个（10个左右不等）主题域组成的主题域模型。概念建模：在主题域的基础上,每...
角色权限
权限功能是系统安全的重要基础保障，作为企业数据中台建设和数字化转型的核心产品，Quick BI提供了完整的权限体系，来帮助您构建完善安全的权限系统，保障数据安全。本文为您介绍Quick BI支持的用户和角色、权限体系、角色和权限映射表，...
公告
显著提升数据治理水平，Dataphin将进一步加强资产治理方向的投入，正式更名为“智能数据建设与治理Dataphin”，希望能够更好的助力企业构建质量可靠、消费便捷、生产安全经济的企业级数据中台。更名公告，请参见 Dataphin更名通知。2020年...
用户角色和权限
权限功能是系统安全的重要基础保障，作为企业数据中台建设和数字化转型的核心产品，Dataphin提供了完整的权限体系，来帮助您构建完善安全的权限系统，保障数据安全。本文为您介绍Dataphin权限体系、用户和角色、角色权限概览等，帮助您了解...
用户角色和权限
权限功能是系统安全的重要基础保障，作为企业数据中台建设和数字化转型的核心产品，Dataphin提供了完整的权限体系，来帮助您构建完善安全的权限系统，保障数据安全。本文为您介绍Dataphin权限体系、用户和角色、角色权限概览等，帮助您了解...
服务接入步骤导览
如果您的三种数据（user数据、item数据、behavior数据）已经存在于MaxCompute，并能熟练使用其各项操作，选择历史数据启动。具体步骤请观看以下视频：快速启动实例 通过历史数据启动实例 注意： 通过历史数据启动实例后，需要在控制台中...
使用函数计算
步骤一：为数据表开启Stream功能 使用触发器功能需要先在表格存储控制台开启数据表的Stream功能，才能在函数计算中处理写入表格存储中的增量数据。登录 表格存储控制台。在页面上方，选择地域。在 概览 页面，单击实例名称或在实例 操作 列...
从RDS导入数据至ClickHouse
MySQL管理控制台中数据库连接中进行查看。database RDS MySQL中的数据库名。table RDS MySQL中的表名。user 用户名，该用户具有访问上述RDS MySQL中库中的表的权限。password user 对应的密码。replace_query 是否将INSERT INTO查询转换为...
产品优势
多场景支持：支持离线数仓搭建、数仓提速、离线数据分析、数据中台搭建、大规模数据集成、离线计算、异构数据集成等。低门槛：近乎零代码，简单配置连线后即可满足各项离线数据集成任务，同时任务支持复杂调度。基于资产的虚拟湖：配合数据...
概述
如果您的业务采用MySQL数据库，随着业务的发展，大数据分析场景逐渐增多，而MySQL数据库进行大数据分析需要结合流式组件、存储系统、计算组件等工具，操作复杂且难度大，您可以选择将MySQL数据库迁移到表格存储中实现大数据分析。...
快速玩转Tablestore入门与实战
Tablestore表设计最佳实践 Tablestore+DeltaLake（快速开始）架构原理-架构设计思想 数据中台之结构化大数据存储设计 结构化大数据分析平台设计 云上应用系统数据存储架构演进 Lambda plus：云上大数据解决方案 场景实战-典型场景架构与...
如何切换地域（Region）？
AHAS实例按地域（Region）划分，在日常操作维护中，您可能因机器在不同的地域而需要切换控制台中的地域（Region），本文介绍在AHAS控制台如何切换地域（Region）。操作步骤 登录 AHAS控制台。单击控制台左上方的地域，在列表中选择所需的...
使用流程
下图阐述了内容中台的完整使用流程。创建内容。使用控制台，通过 API 引入内容或手动上传内容的方式创建内容。手动上传内容时，需要设置内容发布账号（可通过发布账号管理模块 创建发布账号），并给内容打标签。在内容库管理模块中，将内容...
网商银行
基于金融云计算平台，网商银行拥有处理高并发金融交易、海量大数据和弹性扩容的能力，可以利用互联网和大数据的优势，给更多小微企业提供金融服务。业务挑战 网商银行将普惠金融作为自身的使命，目标是利用互联网的技术、数据和渠道创新，...
什么是云迁移中心
针对于企业用户云下的大数据迁移上云来构建云上数仓和数据中台，云迁移中心提供了辅助用户快速新建大量数据迁移任务的工具，自动化完成云下数据源的探查和模型分析，并且批量配置数据迁移上云的任务，一站式管理迁移任务。让用户数据安全，...
基于Flink的资讯场景实时数仓
Kafka构建的高吞吐量、高可扩展性的分布式消息队列服务，广泛用于日志收集、监控数据聚合、流式数据处理、在线和离线分析等，是大数据生态中不可或缺的产品之一，阿里云提供全托管服务，免部署、免运维，更专业、更可靠、更安全。...
回收站列表
您在治理工作台中删除数据表的时间即为回收站中的回收日期。操作日期 清除数据表的日期。回收状态 数据表的 回收状态。清除表 清除后的数据表不支持再次恢复，请您谨慎操作。在 回收站列表 页面，单击需要删除表所在行的 操作 列下 图标。...
- 产品推荐
- 这些文档可能帮助您