Hive连接器
Presto支持默认的Hive Thrift metastore（thrift）及其衍生产品。默认值为thrift。hive.metastore-cache-ttl Hive Metastore缓存的Metastore数据被视为可用的持续时间。默认值为0s。hive.metastore-cache-maximum-size Hive Metastore缓存...
配置存储地址
在使用智能媒体服务媒资上传、媒体处理、云剪辑等服务前，您需要配置存储地址。通过阅读本文，您可以了解如何配置存储地址。...API参考 SetDefaultStorageLocation-设置默认存储位置 GetDefaultStorageLocation-获取默认存储位置
SetDefaultStorageLocation-设置默认存储位置
设置临时文件的默认存储路径。默认存储地址用于ICE在线编辑器及集成webSDK使用时，剪辑过程产生的临时文件存储，如智能配置生成的音频文件等；设置默认存储地址，可避免在编辑过程中申请填写各类临时资源的存储路径时，对使用者造成困扰；...
创建存储空间
async function putBucket(){ try { const options={ storageClass:'Standard',/存储空间的默认存储类型为标准存储，即Standard。如果需要设置存储空间的存储类型为归档存储，请替换为Archive。acl:'private',/存储空间的默认读写权限为...
时序数据存储概述
时序数据的默认存储时效为30天。对于2022年12月01日（不包含）后购买的企业版实例：上报和查询设备时序数据，均受时序数据的存储IOPS和存储空间限制。时序数据的默认存储时效为365天。使用限制 限制项 描述 限制 时序数据存储规则 一个实例...
管理存储Bucket
设置默认存储地址 当同一服务地域下存在多个存储地址时，可以选择其中一个作为默认存储地址，后续在该地域上传媒体资源时，都将默认上传到所设置的默认存储地址中。在视频点播控制台，切换到目标服务地域后，选择 配置管理>媒资管理配置>...
克隆集群
当 计费类型 为 按量付费 时，不支持该配置，系统默认存储按量计费。存储空间 按空间计费（包年包月）需要预购的存储空间容量大小。存储空间容量范围为50 GB~100 TB，最小调整量为10 GB。说明 仅当 存储计费类型 为 按空间计费（包年包月）...
快速开始转码任务
配置存储 选择当前上传资源的存储地址，当您有多个存储地址时，会选中您的默认存储。配置默认存储地址，具体请参见 存储管理。重要 存储地域和智能媒体服务的服务地域需一致，否则会导致上传失败。可选：分类设置 上传前，您也可以进行媒资...
克隆集群
当 计费类型 为 按量付费 时，不支持该配置，系统默认存储按量计费。存储空间 按空间计费（包年包月）需要预购的存储空间容量大小。存储空间容量范围为50 GB~100 TB，最小调整量为10 GB。说明 仅当 存储计费类型 为 按空间计费（包年包月）...
常见问题
您可以使用OSS的标准访问方法直接访问OSS，也可查询存储于OSS上的Hive表。EMR Trino支持OSS-HDFS。如何访问Trino UI？如何理解Trino UI？如果您的集群安装了Knox服务，可以使用Knox链接访问Trino UI，详情请参见 Knox。如果您的集群不包含...
从集群回收站恢复误删的集群
当 商品类型 为 按量付费 时，不支持该配置，系统默认存储按量计费。存储空间 按空间计费（包年包月）需要预购的存储空间容量大小。存储空间容量范围为50 GB~100 TB，最小调整量为5 GB。说明 仅当 存储计费类型 为 按空间计费（包年包月）...
创建同城冗余存储Bucket
async function putBucket(){ try { const options={ storageClass:'Standard',/存储空间的默认存储类型为标准存储，即Standard。如果需要设置存储空间的存储类型为归档存储，请替换为Archive。acl:'private',/存储空间的默认读写权限为...
创建存储空间
在上传文件（Object）到OSS之前，您需要创建一个用于存储文件的存储空间（Bucket）。存储空间具有各种配置属性，包括访问权限、存储类型等。您可以根据实际需求，创建不同类型的存储空间来存储不同的数据。注意事项 创建存储空间本身不收取...
BE参数配置
default_rowset_type 默认值：BETA 类型：String 说明：标识BE默认选择的存储格式，可配置的参数为 ALPHA、BETA。主要起以下两个作用：当建表的storage_format设置为Default时，通过该配置来选取BE的存储格式。进行Compaction时选择BE的...
DLF统一元数据
使用限制 DLF统一元数据适配EMR的Hive 2.x、Hive 3.x、Presto和SparkSQL。仅EMR-3.30.0及之后版本和EMR-4.5.0及之后版本，支持选择DLF统一元数据作为Hive数据库。切换元数据存储类型 您可以通过修改Hive参数的方式，切换Hive MetaStore的...
管理Hive Catalog
ACCESS_KEY_SECRET}</value></property><property><name>fs.defaultFS</name><value>oss:/${YOUR_OSS_BUCKET_DOMIN}</value></property>如果您的Hive表被存储在OSS-HDFS中，则还需要添加如下配置。name>fs.jindo.impl</name>...
Hive作业调优
Hive的文件基本上都是存储在HDFS上，而HDFS上的文件，都是分块的，所以具体的Hive数据文件在HDFS上分多少块，可能对应的是默认Hive起始的Task的数量，使用 default_mapper_num 参数表示。使用数据总大小除以dfs默认的最大块大小来决定初始...
Hive元数据说明
如 自建RDS在多集群部署架构图 所示，在多个集群环境中，RDS支持跨多个集群元数据共享，分别被不同集群中的Hive Metastore访问。图 3.自建RDS在单集群部署架构图 图 4.自建RDS在多集群部署架构图 内置MySQL 元数据存储在MySQL中，且MySQL ...
创建时序表
当使用表格存储时序模型时，您需要使用CreateTimeseriesTable接口创建时序表用于存储时序数据。创建时序表时支持配置数据生命周期、时序时间线表的配置信息 和创建分析存储。分析存储可用于快速分析时序数据。前提条件 已通过控制台创建...
管理时序存储配置
2022年12月01日后创建的企业版实例，默认存储时效为365天，2022年12月01日前创建的实例默认为30天。新版公共实例的存储时效默认为30天。最短为7天，最长不过期（设置为-1）。超过存储时效或者存储空间后，物联网平台会清理最早的数据。每...
创建时序表
当使用表格存储时序模型时，您需要使用CreateTimeseriesTable接口创建时序表用于存储时序数据。创建时序表时支持配置数据生命周期、时序时间线表的配置信息 和创建分析存储。分析存储可用于快速分析时序数据。前提条件 已通过控制台创建...
2024-04-01版本
管理Hive Catalog 基于DLF的Hive Catalog支持创建非Hive表 您可以统一使用Hive Catalog管理不同的类型的表。Paimon支持能力提升 支持将数据写入OSS-HDFS。CTAS和CDAS语句支持创建动态分桶的Paimon表。完整包含Paimon社区至2024年3月15日的...
HDFS数据源
目前插件中的Hive版本为1.1.1，Hadoop版本为2.7.1（Apache为适配JDK1.7）。在Hadoop2.5.0、Hadoop2.6.0和Hive1.2.0测试环境中写入正常。HDFS Writer仅支持使用 独享数据集成资源组。实现过程 HDFS Writer的实现过程如下所示：根据您指定的...
EMR-4.4.x版本说明
Hive 优化默认的参数配置。Tez Ranger 支持Impala权限控制。升级jackson-databind版本。Impala 支持集成Ranger。升级Shiro至1.6.0版本。SmartData 升级至2.7.301版本。Bigboot Knox 支持Tez UI独立打开，支持YARN UI中的Tez。升级Shiro至1....
Dataphin集成任务写出到Hive的覆盖策略
概述 本文主要描述了Dataphin集成任务写出到Hive的覆盖策略。详细信息 Hive做为输出组件，Hive是以文件的形式存储在HDFS上的，覆盖策略是按照表名前缀，先做清表操作然后再覆盖数据。适用于 Dataphin v3.5.2
通过控制台使用分析存储
在 表格存储 控制台创建时序模型实例后，您可以在实例下创建分析存储并使用SQL查询时序数据。注意事项 时序分析存储功能将从2023年12月20日正式开始收费。目前支持使用时序分析存储功能的地域有华东1（杭州）、华东2（上海）、华北2（北京...
时序表操作
时序模型通过时序表存储时间序列数据，单表能提供高并发写入和查询以及PB级海量数据的低成本存储。创建时序表时，您可以配置数据生命周期 和为时序表创建分析存储。创建时序表后，您可以根据实际管理时序表，例如获取实例中的所有时序表...
通过EMR运行基于OSS-HDFS服务的TPC-DS Benchmark
tpcds-setup.sh 脚本默认配置的Hive服务地址与EMR集群环境不一致，所以需要将脚本中HiveSever的地址替换为EMR集群中的Hive服务地址。具体命令如下：sed-i 's/localhost:2181\/;serviceDiscoveryMode=zooKeeper;zooKeeperNamespace=...
在EMR集群运行TPC-DS Benchmark
tpcds-setup.sh 脚本默认配置的Hive服务地址与EMR集群环境不一致，所以需要将脚本中HiveSever的地址替换为EMR集群中的Hive服务地址。具体命令如下：sed-i 's/localhost:2181\/;serviceDiscoveryMode=zooKeeper;zooKeeperNamespace=...
Hive采集字段
该文档描述了云迁移中心CMH的Hive采集工具采集您的Hive的所有核心信息。简介 Hive采集工具通过访问Metastore DB 进行相关资源信息采集，当前支持的类型为MySQL数据库。基本信息 通过对Hive的对象信息进行盘点，采集的字段重点举例为：Hive...
通过SDK使用分析存储
使用SDK在已开启分析存储的时序模型实例下为时序表创建分析存储并为分析存储创建绑定关系，然后使用SQL查询数据。说明 您可以通过 Java SDK 或者 Go SDK 使用分析存储功能，本文以Java SDK为例介绍分析存储的使用。注意事项 时序分析存储...
冷热分层存储
针对以上问题，OSS-HDFS服务支持数据的冷热分层存储，对于经常需要访问的数据以标准类型进行存储，对于较少访问的数据以低频、归档以及冷归档类型进行存储，从而降低总存储成本。前提条件 已在OSS-HDFS服务中写入数据。华东1（杭州）、华东...
数据安全
表格存储提供服务器端加密和客户端加密，可有效防止数据在云端的潜在安全风险。表格存储支持同城冗余功能，可实现多可用区数据容灾，确保数据的高可用性和容灾能力。表格存储支持通过云备份服务对重要数据进行备份，可防止数据误删除或者...
SEQUENCE
sequence 函数默认生成的元素数量上限为 10000，可以通过设置 odps.sql.max.sequence.length Flag值改变元素数量上限。示例 SELECT sequence(1,5);返回结果如下：[1,2,3,4,5]SELECT sequence(5,1);返回结果如下：[5,4,3,2,1]SELECT ...
Superset（仅对存量用户开放）
这里以E-MapReduce Hadoop集群默认安装的Hive引擎为例，更多的数据库类型访问方式请参见 SQLAlchemy。登录Superset。您需要在SSH连接中创建隧道以查看开源组件的Web页面，详情请参见 通过SSH隧道方式访问开源组件Web UI。默认用户名和密码...
通过SLS完成日志数据入湖OSS
数据湖支持在低存储成本的情况下，更好地满足数据长期存储、查询、分析、读取等需求。本文介绍通过日志服务SLS完成日志数据入湖的操作方式。前提条件 已在日志服务Project所在的地域创建Bucket。具体操作，请参见 控制台创建存储空间。背景...
新建Paimon数据源
Hive Keytab File Kerberos方式访问集群，需上传Hive的Hive Keytab File配置文件。Hive Principal Kerberos方式访问集群，需填写Kerberos认证Principal名，如 XXXX/hadoopclient@xxx.xxx。配置文件 上传hive的hive-site.xml配置文件。重要 ...
Hive访问EMR Phoenix数据
在阿里云E-MapReduce（EMR）中，Hive支持通过配置外部表来访问和处理存储在Phoenix系统中的数据。本文通过示例为您介绍，如何使用EMR上的Hive处理EMR Phoenix数据。前提条件 已创建选择了Hive、HBase、Zookeeper和Phoenix服务的自定义集群...
Catalog概述
本文为您介绍什么是...在其他目录下，对 hive_catalog 中的 hive_table 和 default_catalog 中的 olap_table 进行联邦查询。SELECT*FROM hive_catalog.hive_db.hive_table h JOIN default_catalog.olap_db.olap_table o WHERE h.id=o.id;
DataFlow集群通过Hive Catalog连接数据湖元数据DLF
OK flink_dlf_hive oss:/aliyu*/flink_dlf_hive/db acs:ram:125046002175*:user/29915368510086*USER Time taken:0.069 seconds,Fetched:1 row(s)创建Hive的外表并验证。执行以下命令，创建Hive的外表。USE flink_dlf_hive;set hive.input....
- 产品推荐
- 这些文档可能帮助您