阿里云文档 2025-11-18

查看物理视图资产详情-智能数据建设与治理Dataphin-阿里云

本文为您介绍如何查看计算引擎为MaxCompute、Hadoop、Lindorm(计算引擎)、GaussDB(DWS)、Databricks、Amazon EMR时的物理视图和字段资产详情。

阿里云文档 2025-11-18

配置Hadoop初始化元仓-智能数据建设与治理 Dataphin-阿里云

Dataphin元数据仓库(简称:元仓),是统一管理Dataphin内部业务元数据和相应计算引擎元数据的数据仓库,存在于Dataphin元仓租户中(OPS租户)的一个Dataphin项目空间中,由一系列的周期性数据集成节点、SQL脚本节点、Shell节点组成。元仓初始化即配置Dataphin系统的计算引擎类型并初始化元数据的过程。本文将为您介绍如何使用Hadoop作为元仓计算引擎进行元仓初始化。

阿里云文档 2025-11-18

元数据仓库共享模型(Hadoop/StarRocks等计算引擎)-智能数据建设与治理 Dataphin-阿里云

本文为您介绍Hadoop计算引擎下提供的元数据共享模型详情。概述为了支持更灵活的数据分析及二次开发,需要使用Dataphin的元数据信息。Dataphin以元数据共享模型的方式将系统元数据对外开放。元数据共享模型的使用方式请参见元数据仓库共享模型。元数据仓库共享模型使用说明共享模型表每个分区存储全量...

文章 2025-03-13 来自:开发者社区

Dataphin功能Tips系列(41)-Hadoop集群管理

一、场景 小A在过往创建计算源的时候,遇到了以下两个问题: 1、每次都需要上传重复的集群文件和填写相同的信息,只有少部分信息需要单独填写比如说指定hive库,所需要填写的信息也很多,每次都需要较长的时间; 2、当Hadoop集群的信息变更,例如:Hive数据库实例的IP地址切换、krb5文件更新等,都需要逐一修改所有的计算源; Dataphin有什么办法可以减少创...

Dataphin功能Tips系列(41)-Hadoop集群管理
阿里云文档 2023-03-31

问题描述Dataphin管道任务失败,报错“error occurred where call hadoop api”。问题原因Hive表字段改动导致。Hive表字段改动是要更新管道任务配置的,Hive输出组件的配置要求Hive表字段全部映射,否则就不允许提交,如果是TEXTFILE格式的表,可以追...

阿里云文档 2023-02-23

Dataphin在Hadoop环境上传的资源JAR包,存放的HDFS路径是什么

概述本文主要介绍Dataphin在Hadoop环境上传的资源JAR包,存放的HDFS路径是什么。详细信息Dataphin在Hadoop环境上传的资源JAR包,存放的HDFS路径是什么?介绍如下:所有用户上传的资源JAR包,以及安全包的资源,都是默认放在/tmp/dataphin/目录下。该目录下会区...

文章 2022-02-14 来自:开发者社区

在Dataphin中怎么配置Hadoop数据源的kerberos信息

作者:天大目前Dataphin数据集成或数据服务支持Hadoop生态四种数据源类型:Hive,HDFS,Hbase,Impala。Kerberos认证是Hadoop生态使用较多一种安全认证协议,下面说明一下,在Dataphin中怎么配置每种数据类型的kerberos信息。需要注意的是,在配置Hadoop数据源时强烈推荐上传Hadoop相关的配置文件,包括core-site.xml、hdfs-si....

在Dataphin中怎么配置Hadoop数据源的kerberos信息

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。