Hive作业异常排查及处理
本文介绍Hive作业异常的排查方法和解决...解决方法：您可以在EMR控制台YARN服务的 配置 页签，搜索 mapreduce.job.counters.max 参数，调大该参数值，修改完后重新提交Hive作业，如果使用Beeline或者JDBC提交作业，需要重启HiveServer服务。
方案设计
将数据集的meta和data分开存储，主要是出于以下考虑：用户会有根据多种条件查询数据集的要求，例如查询最近有哪些数据集已经完成入库，或者查询表中有哪些某种类型的数据集等。传统方案中主要是通过MySQL等关系型数据库来存储，在本方案中...
初始化
通过Store工厂创建Meta数据和Timeline数据的管理Store。实现错误重试需要依赖SyncClient的重试策略，您可以通过配置SyncClient实现重试。如果有特殊需求，可自定义策略（只需实现RetryStrategy接口）。重试策略配置。Code:configuration....
Dataphin资产中物理表的描述出现乱码
问题描述 本文主要描述了Dataphin...问题原因 Hive meta数据库编码问题。解决方案 在即席查询执行show create table 查看表名，确认结果的COMMENT是不是乱码，如果是乱码，需要确认下修改下Hive meta的数据库编码。适用于 Dataphin v.2.9.7
数据保护规则简介
在使用全密态功能之前，您需要配置数据保护规则，规则包括：指定目标数据列为被保护数据、声明数据保护方法（例如加密、脱敏）、授权指定用户访问数据等。本文介绍数据保护规则格式及说明。规则格式及说明 {"version":20230830,"rules":[{...
基于Delta lake的一站式数据湖构建与分析实战
这些数据湖格式有自己的数据meta管理能力，能够支持Update、Delete等操作，以批流一体的方式解决了大数据场景下数据实时更新的问题。数据湖构建与管理 1.数据入湖 企业的原始数据存在于多种数据库或存储系统，如关系数据库MySQL、日志系统...
配置自建RDS
DataLake和Custom集群在创建过程中会自动根据所提供的数据库连接参数初始化Hive Meta数据库，因此无需执行该步骤。步骤一：元数据库准备 创建数据库。具体操作，请参见 创建数据库 中的创建数据库。创建普通用户并授权读写权限。具体操作，...
数据自动化分类分级
数据安全中心将采用基于内容识别、元数据（Meta数据）识别以及词典识别的模式，结合正则表达式、包含、不包含等运算符进行敏感数据特征检测，从而形成识别规则，更加灵活的进行数据特征检测。数据安全中心针对常见敏感数据类型提供了内置...
从统一元数据库迁出到用户自建的RDS实例
修改集群Master节点上的/usr/local/emr/emr-agent/run/meta_db_info.json，把里面的 use_local_meta_db 设置为 false，meta数据库的链接地址、用户名和密码换成RDS的信息。说明 对于无此文件的集群，直接忽略此步骤。如果是HA集群，两个...
Hive服务异常排查及处理
解决方案：需要手动初始化Hive Meta数据库。具体步骤，请参见 Metastore初始化。HiveMetaStore问题 常见异常：org.apache.hadoop.hive.ql.metadata.HiveException:MetaException(message:Could not connect to meta store using any of the...
Hive统一元数据
EMR-2.4.0之前版本，所有集群采用的是集群本地的MySQL数据库作为Hive元数据库；EMR-2.4.0及后续版本，E-MapReduce（简称EMR）支持统一的高可靠的Hive元数据库。背景信息 因为元数据库需要使用公网IP来连接，所以集群必须要有公网IP，同时请...
创建集群
参见 数据湖元数据管理 统一meta数据库：表示元数据存储在集群本地环境的MySQL数据库中 独立RDS MySQL：表示使用自建的阿里云RDS作为元数据库，更多信息请参见 共享独立RDS元数据库 设置高级信息。高级信息包括如下两方面：Spark设置 参数 ...
错误代码
TDDL-4007 ERR_CANNOT_FETCH_TABLE_META PolarDB-X 1.0 无法加载数据表的元数据信息。示例：ERR-CODE:[TDDL-4007][ERR_CANNOT_FETCH_TABLE_META]Table '*' metadata cannot be fetched because Table '*.*' doesn't exist.该错误表示 ...
元表和字段资产详情
元表详情 请参见 搜索数据，进入元表详情页面，编号 描述 ① 概要信息 为您展示表的类型、名称、负责人、描述、标签等信息。同时，您还可以执行如下操作：标签：在 修改资产标签 对话框，输入标签值，128字符以内，单击 确定。每个资产对象...
元表和字段资产详情
元表详情 请参见 搜索数据，进入元表详情页面，编号 描述 ① 概要信息 为您展示表的类型、名称、负责人、描述、标签等信息。同时，您还可以执行如下操作：标签：在 修改资产标签 对话框，输入标签值，128字符以内，单击 确定。每个资产对象...
GetLogsV2
meta Object 返回数据meta信息 progress String Complete 查询的结果是否完整。Complete：查询已经完成，返回结果为完整结果。Incomplete：查询已经完成，返回结果为不完整结果，需要重复请求以获得完整结果。aggQuery String select*查询...
创建数据表
使用CreateTable接口创建数据表时，需要指定数据表的结构信息和配置信息，高性能实例中的数据表还可以根据需要设置预留读/写吞吐量。创建数据表时支持创建一个或者多个索引表。注意事项 创建数据表后需要几秒钟进行加载，在此期间对该数据...
对接Kibana
Proxy：用于区分Kibana对Meta数据和日志服务Elasticsearch兼容接口的API请求，需要部署一个Proxy对Kibana的API请求进行路由。步骤一：部署Elasticsearch 参见如下示例，部署Elasticsearch。建议部署在阿里云ECS上，保证数据高可用持久化。...
E-MapReduce数据迁移方案
在开发过程中我们通常会碰到需要迁移数据的场景，本文介绍如何将自建集群数据迁移到E-MapReduce集群中。背景信息 适用范围：线下Hadoop到E-MapReduce迁移。线上ECS自建Hadoop到E-MapReduce迁移。迁移场景：HDFS增量上游数据源包括RDS增量...
配置识别模板
数据安全中心为不同行业（例如金融、能源、汽车行业）提供了识别敏感数据的解决方案，即内置的识别模板。使用识别模板可以检测您资产中是否存在敏感数据。您可以直接使用内置的识别模板，也可以基于内置模板自定义识别模板。本文介绍如何...
使用Kibana访问日志服务的Elasticsearch兼容接口
Proxy：用于区分Kibana对Meta数据和日志服务Elasticsearch兼容接口的API请求，需要部署一个Proxy对Kibana的API请求进行路由。步骤一：部署Elasticsearch 参见如下示例，部署Elasticsearch。建议部署在阿里云ECS上，保证数据高可用持久化。...
创建数据表
使用CreateTable接口创建数据表时，需要指定数据表的结构信息和配置信息，高性能实例中的数据表还可以根据需要设置预留读/写吞吐量。创建数据表的同时支持创建一个或者多个索引表。说明 创建数据表后需要几秒钟进行加载，在此期间对该数据...
Hadoop集群迁移至DataLake集群
本文将详细阐述如何将您已有的旧版数据湖集群（Hadoop），高效地迁移至数据湖集群（DataLake），以下分别简称“旧集群”和“新集群”。迁移过程将充分考虑旧集群的版本、元数据类型以及存储方式，并针对这些因素，提供适应新集群的迁移策略...
MSE Agent版本说明
在仅开启MSE功能的场景下，不再采集ARMS Span、Metrics和Meta数据。将Tomcat中针对请求参数和请求体的解析逻辑迁移至Zuul或Spring Cloud Gateway的Filter组件中进行处理。在全链路灰度能力中增加容错逻辑，如果trace为空，则默认将请求发送...
在容器内获取元数据
本文介绍如何在容器内获取元数据，将ECI实例信息和容器Meta数据呈现给运行中的容器。方式一：通过MetaServer访问元数据 您可以使用以下方式获取ECI实例元数据。连接容器。具体操作，请参见 调试ECI实例。执行以下命令访问元数据的根目录。...
分片上传
meta:{ year:2020,people:'test',},});console.log(result);填写Object完整路径，例如exampledir/exampleobject.txt。Object完整路径中不能包含Bucket名称。const head=await client.head('exampledir/exampleobject.txt');console.log...
Logtail发布历史
1.8.6 发布时间：2024.01.30 优化 Golang插件指标数据和上报逻辑优化，指标统一通过C++指标模块上报 修复 修复开启高精度时间戳开关后Golang模块误加载问题 1.8.5 发布时间：2024.01.24 修复 修复标签数据多线程处理导致Golang插件模块异常...
日志类型
10e*b4f6_etl_:connector_meta 数据源或者目标的任务元信息。更多信息，请参见_etl_:connector_meta。无_etl_:connector_metrics 数据源或者目标的任务运行指标。更多信息，请参见_etl_:connector_metrics。无_etl_:connector_meta 字段...
在容器内获取元数据
本文介绍如何在容器内获取元数据，将ECI Pod信息和容器Meta数据呈现给运行中的容器。方式一：通过MetaServer访问元数据 您可以使用以下方式获取ECI实例元数据。连接容器。具体操作，请参见 调试ECI实例。执行以下命令访问元数据的根目录。...
在容器内获取元数据
本文介绍如何在容器内获取元数据，将ECI Pod信息和容器Meta数据呈现给运行中的容器。方式一：通过MetaServer访问元数据 您可以使用以下方式获取ECI实例元数据。连接容器。具体操作，请参见 调试ECI实例。执行以下命令访问元数据的根目录。...
图像上传
操作流程 步骤一：下载OSSImport工具 步骤二：开通对象存储OSS 步骤三：创建存储空间（bucket）步骤四：导入increment.meta 数据 步骤五：授予图像搜索服务访问OSS的权限 步骤六：上传图片 步骤一：下载OSSImport工具 OSSImport有单机模式...
【通知】DAS专业版更名为企业版并上线经济版和企业版 ...
数据热存储 数据冷存储 数据查询 V3 按量付费 数据引入 实时搜索分析 洞察分析 数据热存储 数据冷存储 数据查询 数据导出 影响 空间碎片自动回收 功能，不再必须要开通企业版，开通经济版后也可以使用该功能。性能洞察 功能，免费公测结束...
新功能发布记录
开启安全访问代理 接入达梦数据库 新增 全面直接接入达梦数据库（DM），包括数据导入、数据查询、数据变更、数据导出、数据服务与数据可视化等功能。支持的数据库类型与功能 数据类目 新增 对表进行分类，便于管理人员、开发人员及运维人员...
搜索（审计）
数据库自治服务DAS 提供搜索（审计）功能，查询并导出SQL语句对应的各种信息，本文介绍如何在SQL洞察和审计中使用搜索功能。重要 如果您开通了DAS企业版 V3，搜索功能将更名为审计功能。前提条件 已在DAS中接入对应的数据库实例，并且接入...
点播CDN常见问题
主要原因是网络层流量比应用层流量多了以下两个流量消耗：TCP/IP包头：应用层流量在开始网络传输之前，需要先使用TCP协议（传输层）封装为TCP数据包，再使用IP协议（网络层）封装为IP数据包，IP数据包最大为1500字节，这其中包含了20字节...
错误码
常见 PolarDB-X 数据节点连接失败的原因如下：后端数据节点连接数已满 计算节点到数据节点的连接超时 数据节点拒绝连接 如果排除后端数据节点问题后仍然出现该错误，请联系技术支持。PXC-4103 ERR_ATOM_CONNECTION_POOL_FULL 描述：PolarDB...
公告
2022年06月10日-Dataphin更名通知 为了更好地帮助广大客户解决数据资产建设问题，显著提升数据治理水平，Dataphin将进一步加强资产治理方向的投入，正式更名为“智能数据建设与治理Dataphin”，希望能够更好的助力企业构建质量可靠、消费...
OfflineFilteringAlgorithm-下线召回表
abc meta object Meta 源数据。taskId string 任务 ID。taskId metaType string 算法类型，当前只支持 ODPS。metaType type string 数据源类型，当前只支持 ODPS。ODPS extInfo object 召回表类型包含内容。kvSeparator string kv 分隔符。...
DescribeFilteringAlgorithm-获取召回表
abc meta object Meta 源数据。taskId string 任务 ID。taskId metaType string 算法类型，当前只支持 ODPS。metaType type string 数据源类型，当前只支持 ODPS。ODPS extInfo object 召回表类型包含内容。kvSeparator string kv 分隔符。...
DeleteFilteringAlgorithm-删除召回表
123 meta object Meta 源数据。taskId string 任务 ID。test01 metaType string 算法类型，当前只支持 ODPS。odps type string 数据源类型，当前只支持 ODPS。ODPS extInfo object 召回表类型包含内容。kvSeparator string kv 分隔符。...
- 产品推荐
- 这些文档可能帮助您