一键MaxCompute数据同步节点
背景信息 使用一键同步MaxCompute数据至Hologres进行数据查询时，您需要先在Hologres中创建外部表，该外部表可视为MaxCompute源表（即需要同步的MaxCompute数据所在的表）与Hologres内部表的链接，通过该连接将MaxCompute源表数据同步至...
使用基于OSS创建的Hive外部表进行离线集成
在E-MapReduce5.xHadoop计算引擎下，若您需要将基于OSS创建的Hive外部表在Dataphin中进行离线集成操作。您需要先进行相关配置，才可以进行离线集成。本文将指导您如何进行配置。配置说明 使用该功能需要您先在Hive数据源或者Hadoop计算源的...
使用基于OSS创建的Hive外部表进行离线集成
在E-MapReduce5.xHadoop计算引擎下，若您需要将基于OSS创建的Hive外部表在Dataphin中进行离线集成操作。您需要先进行相关配置，才可以进行离线集成。本文将指导您如何进行配置。配置说明 使用该功能需要您先在Hive数据源或者Hadoop计算源的...
Hive访问Iceberg数据
示例1 本示例使用DLF统一元数据，通过Hive外部表的方式对一张已有的Iceberg表进行读写操作。创建一个EMR-5.4.0的Hadoop集群，元数据选择DLF统一元数据，详情请参见 创建集群。修改配置项，详情请参见操作步骤中的 步骤1。进入Hive命令行，...
创建Hive数据源
在E-MapReduce5.x Hadoop计算引擎下，若您需要使用基于OSS创建的Hive外部表进行离线集成。您需要进行相关配置后，才可以正常使用。配置说明，请参见 使用基于OSS创建的Hive外部表进行离线集成。使用Hive数据源作为集成的输入输出组件时，请...
Spark Load
例如，Spark或GPU用于查询，HDFS或S3用于外部存储，MapReduce用于ETL等，因此引入Resource Management来管理StarRocks使用的这些外部资源。提交Spark导入任务之前，需要配置执行ETL任务的Spark集群。操作语法如下所示。create spark ...
新建离线物理表
存储类型 支持 内部表 和 外部表 存储类型。内部表：由自身管理的表，存储在计算引擎中。外部表：外部存储系统的表，如HDFS。创建外部表需填写外部存储地址location。最多512字。说明 外部表默认的存储设置为 stored as textfile,如需修改,...
访问Hive数据源
spark.adb.eni.extraHosts 否 Spark解析Hive表位置时，需要额外传入IP和表格存储节点Host的映射关系，以便Spark能正确解析表位置的域名信息。获取域名：在自建集群的<Hive_CONF_DIR>/core-site.xml文件中查看 fs.defaultFS 获取域名。例如...
EMR Hive数据整库离线同步至MaxCompute
parquet schema 如果Hive表存储格式为parquet格式，需要配置对应的parquet schema。其他参数保持默认即可。配置数据去向：MaxCompute侧参数 配置离线同步节点的数据去向相关参数。本实践将Hive数据整库离线同步至MaxCompute，数据去向为...
EMR Hive数据整库离线同步至MaxCompute
parquet schema 如果Hive表存储格式为parquet格式，需要配置对应的parquet schema。其他参数保持默认即可。配置数据去向：MaxCompute侧参数 配置离线同步节点的数据去向相关参数。本实践将Hive数据整库离线同步至MaxCompute，数据去向为...
ST_StorageLocation
返回轨迹的外部存储位置。语法 bool ST_StorageLocation(trajectory traj);参数 参数名称 描述 traj 轨迹对象。描述 如果存储在外部，返回存储此轨迹的.gtf 文件所在的文件夹，否则返回null。示例 select ST_StorageLocation(traj)from ...
ST_SetStorageLocation
设置一个新的轨迹数据外部存储位置。语法 trajectory ST_SetStorageLocation(trajectory traj,text new_path,bool checkValid default true);参数 参数名称 描述 traj 轨迹对象。new_path 外部存储字符串，目前仅支持OSS文件夹，格式为：'...
创建及管理外部表
外部表是指不存储数据于交互式分析Hologres中的表，仅用于查看外部表的数据。HoloStudio的PG管理模块，支持使用可视化方式创建、查看以及删除外部表。本文为您介绍在HoloStudio中基于PG管理的外部表操作。前提条件 阿里云账号注册，详情请...
创建及管理外部表
外部表是指不存储数据于交互式分析Hologres中的表，仅用于查看外部表的数据。HoloStudio的PG管理模块，支持使用可视化方式创建、查看以及删除外部表。本文为您介绍在HoloStudio中基于PG管理的外部表操作。前提条件 阿里云账号注册，详情请...
管理Hive Catalog
本文将从以下方面为您介绍如何管理Hive Catalog：配置Hive元数据 创建Hive Catalog 使用Hive Catalog 查看Hive Catalog 删除Hive Catalog 前提条件 在使用Hive MetaStore或阿里云DLF作为Hive Catalog元数据中心前，需要完成以下配置：使用...
外部数据
一个外部表可以在查询中像一个普通表一样地使用，但是在本地数据库服务器中外部表没有存储数据。不管使用什么外部数据包装器，本数据库会要求外部数据包装器从外部数据源获取数据，或者在更新命令的情况下传送数据到外部数据源。访问远程...
外部表概述
MaxCompute支持使用外部表功能查询和分析存储于OSS等外部存储系统的数据。该机制使得用户可以无需将数据导入到MaxCompute内部存储，直接对外部数据进行操作，从而提供了数据处理的灵活性和方便性。背景信息 MaxCompute SQL作为分布式数据...
使用SQL导入MaxCompute的数据至Hologres
当MaxCompute业务数据规模超过200 GB，且查询复杂度较高、对响应时间要求达到秒级时，Hologres支持将这些数据直接导入内部表进行查询，相较于通过外部表查询方式，该方式可以设置索引，且数据查询效率更高。本文为您介绍不同场景的数据导入...
可视化管理内部表、外部表或视图
背景信息 MaxCompute Studio支持的表或视图操作如下：创建内部表、外部表或视图 修改内部表或外部表 查看内部表、外部表或视图详细信息 清空表数据或删除分区 删除内部表、外部表或视图 创建内部表、外部表或视图 在IntelliJ IDEA界面的...
外部表自动加载（Auto Load）
应用场景 Hologres与 云原生大数据计算服务MaxCompute、阿里云数据湖构建（Data Lake Formation，DLF）和 阿里云对象存储（Object Storage Service，OSS）深度兼容，无需数据搬迁，即可通过外部表加速查询存储于MaxCompute或OSS的数据。...
创建Hologres外部表
Hologres可通过DDL方式创建Hologres外部表，也可使用DataWorks提供的可视化方式创建。本文为您介绍如何使用DataWorks可视化方式创建Hologres外部表。前提条件 工作空间已绑定Hologres引擎。详情请参见 绑定Hologres计算引擎。创建表的用户...
将Hologres作为MaxCompute的外部表进行访问
MaxCompute与Hologres在底层无缝打通，您可以在MaxCompute中，将Hologres的表定义为MaxCompute的外部表直接进行访问。通过MaxCompute的JDBC驱动方式查询Hologres数据源的数据，该方式无数据冗余，无需数据导入导出。使用限制 在MaxCompute...
MaxCompute加速概述
Hologres是兼容PostgreSQL协议的实时交互式分析引擎，与MaxCompute存储原生对接，支持使用创建外部表的方式实现MaxCompute加速查询，无冗余存储，无需导入导出数据，即可快速获取查询结果，采用标准PostgreSQL协议，无缝对接几乎所有主流BI...
ePQ支持并行写入及查询OSS外部表
背景信息 PolarDB PostgreSQL版（兼容Oracle）支持通过 oss_fdw 插件创建OSS外部表，其物理存储位于 阿里云对象存储OSS 上，在数据库内仅保存表的元信息。数据库中不常使用的历史数据、冷数据可以以外部表的形式归档到OSS上，从而节省数据...
ePQ支持并行写入及查询OSS外部表
背景信息 PolarDB PostgreSQL版（兼容Oracle）支持通过 oss_fdw 插件创建OSS外部表，其物理存储位于 阿里云对象存储OSS 上，在数据库内仅保存表的元信息。数据库中不常使用的历史数据、冷数据可以以外部表的形式归档到OSS上，从而节省数据...
ePQ支持并行写入及查询OSS外部表
背景信息 PolarDB PostgreSQL版 支持通过 oss_fdw 插件创建OSS外部表，其物理存储位于 阿里云对象存储OSS 上，在数据库内仅保存表的元信息。数据库中不常使用的历史数据、冷数据可以以外部表的形式归档到OSS上，从而节省数据库的存储成本。...
实时分析海量MaxCompute数据
成功新建外部表后，在左侧 实例管理 目录，鼠标右击新建的外部表，单击 打开表，在表详情页单击 数据预览，预览MaxCompute表的数据。说明 数据预览 只展示部分数据。查询外部表数据。在表详情页单击 查询表，在 临时Query查询 页面，输入...
通过创建外部表加速查询MaxCompute数据
Hologres支持通过创建外部表（包括手动创建外部表方式和外部表自动加载功能）来加速MaxCompute数据的查询，此方法允许您直接在Hologres环境中访问和分析存储在MaxCompute中的数据，从而提高查询效率并简化数据处理流程。前提条件 已开通...
从OSS批量导入导出
}' 上表定义说明如下：ENGINE=OSS：用于表明该表是外部表，存储引擎是外部的OSS。TABLE_PROPERTIES：用于告诉HybridDB for MySQL如何访问OSS中的源表数据。endpoint：OSS的数据连接地址，请注意公共云和阿里集团内部是不一样的。url：OSS...
概述
HoloStudio的数据开发模块与DataWorks无缝连接，提供一站式稳定高效的ETL（Extract-Transform-Load）服务，帮助您使用可视化方式周期性调度作业、创建外部表、同步外部表数据以及上传本地文件。数据开发 的核心功能如下：文件夹 用于存放并...
数据治理
当前仅支持面向E-MapReduce中的几类Hive表提供数据预览功能，若无法进行Hive表数据预览，请联系集群管理员确认集群类型及存储类型是否满足以下要求。说明 其中 表示支持预览，表示不支持预览。EMR集群类型 元数据存储类型 数据存储类型：...
Hive访问云HBase数据
步骤三：创建HBase外部关联表 执行以下命令，创建外部表。create 'hbase_table','f' 执行以下命令，向表中插入数据。插入第一条数据。put 'hbase_table','1122','f:col1','hello' 插入第二条数据。put 'hbase_table','1122','f:col2','...
优化MaxCompute外部表的查询性能
Hologres与MaxCompute在底层资源无缝打通，您可以通过以下方式加速查询MaxCompute的数据：新建外部表直接加速查询 在Hologres中新建外部表，即可直接加速查询外部表数据。无需数据导入导出、无冗余存储。该方式适用于单次查询的数据量小于...
将数据写入OSS
MaxCompute支持您通过INSERT方式将MaxCompute项目中的数据通过映射的OSS外部表直接输出到OSS目录。本文为您介绍向OSS写入数据的方法并提供示例。背景信息 与读取OSS数据类似，MaxCompute支持将内部表数据或处理外部表得到的数据写入OSS：...
Tablestore外部表
创建外部表 MaxCompute通过创建外部表，把对Tablestore表数据的描述引入到MaxCompute的meta系统内部后，即可实现对Tablestore数据的处理。本节通过下述示例为您说明MaxCompute对接Tablestore的一些概念和实现。创建外部表语句示例如下。...
使用OSS外表高速导出数据到OSS
云原生数据仓库AnalyticDB PostgreSQL版 支持通过OSS外部表（即gpossext功能），将数据并行导出到阿里云对象存储OSS，并支持通过GZIP进行OSS外部表文件压缩，大量节省存储空间及成本。功能介绍 目前gpossext支持读写TEXT、CSV格式的文件...
功能特性
分区表 外部表 OSS外部表 可以通过OSS外部表访问OSS目录下的数据文件中的非结构化数据，或将MaxCompute项目中的数据写入OSS目录。OSS外部表 Tablestore外部表 将Tablestore的数据纳入MaxCompute上的计算生态，实现多种数据源之间的无缝连接...
SmartData 3.5.x版本简介
Hive支持JindoTable冷度统计，以统计Hive表访问频次，详情请参见 JindoTable表或分区访问冷度收集。JindoFS工具集 增强JindoDistcp，支持通过阿里云监控（CloudMonitor）服务监控告警失败任务、移除了对AVX指令集的依赖、并新增使用冷归档...
常见问题
为什么Hive创建的外部表没有数据？作业长时间处于等待状态，如何处理？您可以通过以下步骤定位问题：在EMR控制台的 访问链接与端口 页面，单击YARN UI所在行的链接。单击Application ID。单击 Tracking URL 的链接。可以看到有多个作业处于...
Hive数据导入
云原生数据仓库AnalyticDB MySQL版 湖仓版（3.0）支持通过Hive数据迁移将Hive数据迁移至OSS。本文介绍如何添加Hive数据源，新建Hive迁移链路并启动任务，以及数据迁移后如何进行数据分析和管理数据迁移任务。功能介绍 AnalyticDB MySQL版 ...
- 产品推荐
- 这些文档可能帮助您