设备接入简介
背景信息 物联网领域中，通信协议和数据格式千差万别，设备数据的可靠性和标准性是上层业务应用的基础。传统的直连上云存在带宽流量成本高、实时性差、稳定性差等问题，因此需要使用边缘主机做异构协议解析、数据格式化转换。物联网边缘...
数据导入概览
从阿里云对象存储OSS导入数据至图数据库GDB实例 图数据库GDB服务端集成有数据导入模块，可以获取您提供的.csv格式的OSS数据文件，并将其解析为图中的点数据和边数据，然后将点数据和边数据导入至图数据库GDB实例。步骤 步骤说明 ① 将需要...
OCS与数据库结合使用示例
beijing,Value=7 从OCS中读取数据.Key=non-beijing,Value=7 从OCS中读取数据.Key=non-beijing,Value=7 …… …… 从结果可以看出，程序第1次是从MySQL数据库当中查询数据，后面的19次都是从OCS缓存中获取key对应的value直接返回。...
步骤二：规划数仓
数据源：业务数据中读取原始数据和写入数据仓库过程中的数据。步骤一：创建数据板块 在Dataphin首页，单击顶部菜单栏的 规划。按照下图操作指引，进入 新建数据板块 对话框。在 生产开发类型 步骤中选择 Basic模式 并单击 下一步。在 板块...
步骤二：规划数仓
数据源：业务数据中读取原始数据和写入数据仓库过程中的数据。步骤一：创建数据板块 在Dataphin首页，单击顶部菜单栏的 规划。按照下图操作指引，进入 新建数据板块 对话框。在 生产开发类型 步骤中选择 Basic模式 并单击 下一步。在 板块...
逻辑备份、物理备份与快照
从数据库磁盘中读取数据，对数据库IO性能有一定影响。通常情况下，物理备份与恢复的速度快于逻辑备份及其恢复。说明 支持创建DBS沙箱，让您的备份数据快速可用。更多信息，请参见 DBS沙箱功能概览。数据库规模推荐范围 MB~百GB级别。TB级别...
2021年
2021-10-28 全部地域 增强：查询结果缓存机制 MaxCompute集成观远数据（GuanData）BI工具（商业化）发布 MaxCompute集成GuanData无缝对接，支持GuanData对MaxCompute直连场景下BI分析的查询加速，和抽数据场景下对MaxCompute全表数据读取。...
缓冲区管理
例如，只读节点将数据页回放到LSN为200的WAL日志，但该数据页在从Buffer Pool淘汰之后，再次从共享存储中读取的数据页中没有包含LSN为200的WAL日志的改动，此类数据页被称为过去页。对于只读节点而言，只需要访问与其回放位点相对应的数据...
缓存数据持久化
当您使用云数据库RDS MySQL并需要提升数据处理速率和降低访问延迟时，阿里云为您提供了缓存数据持久化的高效方案，该解决方案通过整合云数据库Redis与RDS、云数据库Memcache与RDS协同工作，确保数据的高速访问和持久化存储，具备高吞吐、低...
表引擎
概述 表引擎即表的类型，在 云数据库ClickHouse 中决定了如何存储和读取数据、是否支持索引、是否支持主备复制等。云数据库ClickHouse 支持的表引擎，请参见下表。系列 描述 表引擎 特点 MergeTree MergeTree系列引擎适用于高负载任务，...
读数据表
用途 读数据表 算子用于从数据源中读取数据，作为下游节点输入数据的来源。适用场景 计算链路 计算引擎 是否支持 离线 MaxCompute 是 Hive 是 HiveStorage 是 RDS/MySQL 是 使用说明 选择计算资源 选择需要读取的数据源，支持的数据源类型...
备份对数据库的影响
对数据库的影响 从数据库实例中读取数据，对数据库性能有一定影响，但不会造成锁表的情况。从数据库磁盘中读取数据，对数据库IO性能有一定影响，但不会造成锁表的情况。注意事项 建议选择业务低峰期执行备份任务。DBS提供备份速度调节功能...
用户价值
数据资源平台为用户提供了一站式数据资产定义、生产、管理与服务平台，提供企业级数据资产构建能力和一致性使用体验，助力客户快速构建数据智能平台，实现数据资源统一管理，挖掘潜在规律，优化业务决策，让大数据真正的驱动客户业务。...
迭代器功能说明
迭代器即列表生成器。在区块编辑器面板中可先添加一个或多个组件组成的...在 数据源配置 面板中，单击 数据源类型 下拉框，选择 从迭代器中获取 数据源选项。重命名迭代器 在区块编辑器图层栏，您可以双击迭代器，重命名输入迭代器的名称。
将自建ClickHouse向企业版迁移
如果源集群支持从外部网络访问时，您可以将源集群数据读取至目标集群；如果源集群不支持从外部网络访问时，您可以将源集群数据推送至目标集群。（可选）在目标集群上将源集群的IP地址删除。从源集群中删除只读用户。操作步骤 在源集群上...
通过缓存优化性能
Delta缓存通过使用快速中间数据格式在节点的本地存储中创建远程文件的副本来加速数据读取。每当需要从远程位置获取文件时，数据都会自动缓存。然后在本地的连续读取上述数据，从而显著提高读取速度。说明 详细内容可参考Databricks官网文章...
查询诊断
AnalyticDB PostgreSQL版 查询分析功能可供您查看SQL执行计划以及对应统计信息，供您...磁盘读取数据耗时 算子从磁盘中读取数据的耗时。网络传输数据量 Motion算子节点间网络传输的数据总量。网络传输耗时 Motion算子节点间网络传输数据耗时。
安全隧道通信协议
设备端与访问端之间的通信、安全隧道内部的会话（Session）管理及Session内的数据通信，都基于通信协议中隧道帧实现。隧道帧为WebSocket中二进制类型数据帧的Payload。您需在访问端应用程序和设备端目标应用中，自行设计和开发应用层通信...
查询机制
SELECT 使用SELECT查询数据时，需要从磁盘中读取一个数据块到内存中，然后通过内存中数据块获取返回结果。INSERT 当您使用INSERT插入一条数据时，具体过程如下：从数据文件中读取一个数据块到内存中，并将这行数据写入这个数据块，系统生成...
功能简介
AnalyticDB PostgreSQL版 的企业数据智能平台是数据资产定义、加工、管理、服务的全流程平台，提供数据同步、数据查询、数据建模、数据开发、质量评估、资产管理等功能，为智能数据应用持续稳定供给全量、标准、干净、智能的数据资源。...
如何选择备份方式
数据库备份DBS 支持逻辑备份和物理备份两种备份方式，为数据库提供连续数据保护、低成本的备份服务，您可以在评估业务后选择最符合您需求的备份方式。逻辑备份与物理备份的区别 参照项 逻辑备份 物理备份 概念 数据库对象级备份，备份内容...
IoT数据源
DataWorks数据集成支持使用IoT Reader插件读取物联网企业实例数据服务中提供的系统表、产品表、自定义存储表，本文为您介绍DataWorks的IoT数据读取能力。支持的版本 仅华东2（上海）、华北2（北京）、华南1（深圳）地域的标准型和尊享型...
读取数据
数据写入到数据表后，您可以选择所需数据查询方式进行数据读取。如果需要了解 表格存储 各场景的应用案例，请参见 快速玩转Tablestore入门与实战。查询方式 表格存储 提供的数据读取接口包括GetRow、BatchGetRow和GetRange。读取数据时，请...
多行文本
数据源 单击 配置数据源，可在 设置数据源 面板中修改数据源类型和数据查询代码、预览数据源返回结果以及查看数据响应结果，详情请参见 配置资产数据。数据过滤器 数据过滤器提供数据结构转换、筛选和一些简单的计算功能。单击 添加过滤器...
读取数据
查询方式 表格存储 提供的数据读取接口包括GetRow、BatchGetRow和GetRange。读取数据时，请根据实际查询场景使用相应查询方式。重要 当要读取带有自增主键列的表数据时，请确保已获取到包含自增主键列值在内的完整主键。更多信息，请参见 ...
数据缓存
当访问相同的远程数据时，SelectDB会检查本地缓存中是否存在该文件的缓存数据，并根据Block的offset和size，确认哪些数据从本地Block读取，哪些数据从远程获取，并缓存远程拉取的新数据。BE节点重启时，会扫描 cache_path 目录并恢复Block...
OSS-HDFS数据源
支持多种类型数据读取，支持列常量。支持递归读取、支持通配符*和?多个File可以支持并发读取。重要 OSS-HDFS Reader暂不支持单个File多线程并发读取，此处涉及到单个File内部切分算法。离线写 使用OSS-HDFS Writer时，请注意以下事项：目前...
如何支持超大事务
执行SQL语句数量 2048 每条语句携带的数据量 约256 KB～8 MB 数据修改总量 512 MB～16 GB 数据修改条数 2048 测试过程 测试中，每一条SQL语句形如：INSERT INTO `tb` VALUES(id,c)数据表中 c 列的数据类型为longblob，c 的大小从256 KB到8 ...
查看数据迁移项目的详情
当全量数据迁移完成后，数据传输会启动增量数据回放模块，从增量数据拉取模块中获取增量数据。增量数据经过过滤、映射和转换后，再同步至目标实例中。如果您在源端执行 DDL 后，造成 JDBCWriter 异常，从而造成数据迁移项目运行失败，页面...
查询Profile
Instances|Host|ActiveTime|+-+-+-+|c257c52f93e149ee-ace8ac14e8c9ff03|10.200.00.01:9060|5.449ms|c257c52f93e149ee-ace8ac14e8c9ff05|10.200.00.02:9060|5.367ms|c257c52f93e149ee-ace8ac14e8c9ff04|10.200.00.03:9060|5.358ms|+-+-+-+...
HDFS数据源
支持多种类型数据读取（使用String表示），支持列裁剪，支持列常量。支持递归读取、支持正则表达式*和?支持ORCFile数据压缩，目前支持 SNAPPY 和 ZLIB 两种压缩方式。支持SequenceFile数据压缩，目前支持 lZO 压缩方式。多个File可以支持...
通用标题
数据源 单击 配置数据源，可在 设置数据源 面板中修改数据源类型和数据查询代码、预览数据源返回结果以及查看数据响应结果，详情请参见 配置资产数据。数据过滤器 数据过滤器提供数据结构转换、筛选和一些简单的计算功能。单击 添加过滤器...
通用标题
图表样式 通用标题是信息组件的一种，支持自定义标题的内容、位置、颜色、超链接等，支持在数据看板中添加多个通用标题组件，展示数据看板中各个模块的标题。样式面板 搜索配置：单击 样式 面板右上角的搜索配置项图标，可在搜索配置面板中...
计算引擎版本说明
1.5.0 功能优化 优化CDC（数据源）在数据读取过程中对 null 的处理。修复稳定性问题。1.3.1 新特性 支持运行指定SQL的SparkSQL作业。资源配置项支持resourceTag，详细说明，请参见 资源配置项。功能优化 CDC（数据源）支持将HBase数据解析...
通过实时计算订阅数据
订阅DataHub数据进行实时计算，插入到RDS实例的目标表中。在RDS数据库中，按照源表结构创建相应的表。参考 数据存储配置白名单，配置RDS数据库白名单。由于本案例的RDS数据库位于华东1区，而流计算项目位于华东2区，所以需要在RDS数据库中...
Pub
CorrelationData String 否 aGVsbG8*使用MQTT 5.0版本通信协议时，请求和响应模式中的相关数据，用户可自定义。消息接收方可根据相关数据处理请求。说明 您需要将相关数据转换为二进制数据，并进行Base64编码，从而生成String类型数据。...
配置DataHub输入组件
配置DataHub输入组件后，可以将DataHub数据源中的数据读取至大数据平台对接的存储系统内，并进行数据整合和二次加工。本文为您介绍如何配置DataHub输入组件。前提条件 已创建离线单条管道，详情请参见 通过单条管道创建集成任务。操作步骤 ...
配置DataHub输入组件
配置DataHub输入组件后，可以将DataHub数据源中的数据读取至大数据平台对接的存储系统内，并进行数据整合和二次加工。本文为您介绍如何配置DataHub输入组件。前提条件 已创建离线单条管道，详情请参见 通过单条管道创建集成任务。操作步骤 ...
如何选择文件引擎规格
LindormDFS与开源HDFS保持100%通信协议兼容，使用开源客户端可直接访问，无缝接入所有开源大数据生态与云计算生态。存储规格选择 当您选择Lindorm文件引擎 作为大数据、数据湖的底层存储时，推荐您选用 容量型云存储 类型。Lindorm存储以...
创建OSS外部表
MaxCompute支持您在项目中创建OSS（Object Storage Service）外部表，与存储服务OSS上的目录建立映射关系，您可以通过OSS外部表访问OSS目录下的数据文件中的非结构化数据，或将MaxCompute项目中的数据写入OSS目录。本文为您介绍创建OSS外部...
- 产品推荐
- 这些文档可能帮助您