生态对接
v8.6及以上版本 Yonghong BI连接MaxCompute 添加MaxCompute数据源 Quick BI 无特殊要求 Quick BI连接MaxCompute 云数据源MaxCompute 观远BI 无特殊要求 观远BI连接MaxCompute 观远BI 网易有数BI 无特殊要求 网易有数BI连接MaxCompute 网易...
DataGrip连接MaxCompute
MaxCompute支持您通过数据库管理工具DataGrip访问MaxCompute项目，进行数据管理操作。本文为您介绍如何通过MaxCompute JDBC驱动，连接DataGrip和MaxCompute项目并管理数据。背景信息 DataGrip是面向开发人员的数据库管理环境，为查询、创建...
使用DataWorks
在 数据来源 下拉列表中选择数据源类型为 MaxCompute(ODPS)，并选择创建好的MaxCompute 数据源名称。选择独享数据集成资源组。选择已创建的独享数据集成资源组，详情请参见 新增和使用独享数据集成资源组。选择数据去向。在 数据去向 下拉...
数据迁移
迁移ECS上自建的MySQL数据库中的数据至MaxCompute，详情请参见 迁移ECS自建MySQL数据库至MaxCompute。迁移其它业务平台的日志数据至MaxCompute：通过Tunnel迁移日志数据至MaxCompute，详情请参见 通过Tunnel迁移日志数据至MaxCompute。通过...
网易有数BI连接MaxCompute
查看所有表 成功添加MaxCompute数据源后，您可以在网易有数BI的 数据连接 下，获取MaxCompute项目的表信息。查看表结构及表数据 成功添加MaxCompute数据源后，您可以在网易有数BI的 数据连接 下，单击目标表名，即可查看表结构及表数据信息...
数据类型版本说明
MaxCompute目前提供了三种不同类型的数据类型版本，包括1.0数据类型、2.0数据类型以及Hive兼容数据类型，您可以根据业务需求选择合适的数据类型版本。本文为您介绍三种数据类型版本、选择数据类型版本以及查看和修改项目的数据类型版本。...
数据传输作业：数据集成
MaxCompute支持通过DataWorks数据集成功能将其他数据源数据同步至MaxCompute，数据集成作业主要有三种类型：离线同步、实时同步、同步解决方案。本文为您介绍MaxCompute数据集成的实现方案。离线同步 离线（批量）的数据通道通过定义数据...
MaxCompute数据迁移至OSS
配置MaxCompute（ODPS）Reader和对象存储（OSS）Writer。进入数据开发页面，右键单击指定业务流程，选择 新建节点>数据集成>离线同步。在 新建节点 对话框中，输入 节点名称，并单击 确认。在顶部菜单栏上，单击 图标。在脚本模式下，单击...
MaxCompute数据迁移至OTS
配置MaxCompute（ODPS）Reader和表格存储（OTS）Writer。进入数据开发页面，右键单击指定业务流程，选择 新建节点>数据集成>离线同步。在 新建节点 对话框中，输入 节点名称，并单击 确认。在顶部菜单栏上，单击 图标。在脚本模式下，单击...
常见问题
当MaxCompute项目打开2.0新数据类型开关（odps.sql.type.system.odps2=true）时，存在隐式转换被禁用的风险，您可以关闭2.0新数据类型开关（odps.sql.type.system.odps2=false）。在MaxCompute中创建表的方式有哪些？您可以通过如下方式...
使用DataWorks（离线与实时）
最佳实践 数据库整库离线同步至MaxCompute 整库离线同步至MaxCompute OSS数据离线同步至MaxCompute EMR Hive数据整库离线同步至MaxCompute 数据库增量数据离线同步至MaxCompute RDS增量数据同步至MaxCompute Kafka增量数据同步至MaxCompute...
常见问题
本文为您介绍执行MaxCompute准备工作过程中的常见问题。问题类别 常见问题 开通MaxCompute DataWorks与MaxCompute的区别是什么？如何区分DataWorks工作空间和MaxCompute项目？开通MaxCompute服务时，如何根据本身数据存储量以及计算任务...
数据传输与迁移概述
MaxCompute提供多种渠道，以便您从业务系统或外部数据源写入数据到MaxCompute，或者从MaxCompute写出数据到外部系统或外部数据源。数据传输渠道 SDK-Tunnel渠道 外表（湖仓一体）JDBC渠道 场景数据写入MaxCompute 离线数据批量写入（数据...
RDS迁移至MaxCompute实现动态分区
新增MaxCompute数据源作为目标数据源接收RDS数据，详情请参见 配置MaxCompute数据源。自动创建分区 准备工作完成后，需要将RDS中的数据定时每天同步到MaxCompute中，自动创建按天日期的分区。详细的数据同步任务的操作和配置请参见 ...
Quick BI连接MaxCompute
查看所有表 成功添加MaxCompute数据源后，Quick BI界面会自动跳转到数据源管理页面，并在页面右侧自动加载MaxCompute项目的表信息。查看表结构 成功添加MaxCompute数据源后，在目标表的 操作 列单击 图标查看表结构。查看表数据 成功添加...
兼容性概览
为了帮助您更清晰地使用外部工具连接访问MaxCompute，本文将为您介绍MaxCompute支持连接的数据库管理工具，以及工具与MaxCompute在数据库连通性、列举数据库、查看表等方面的兼容性。数据库管理工具与MaxCompute的兼容性如下。工具 连接...
使用DataWorks连接
DataWorks的数据源分为引擎绑定时默认创建的引擎数据源和在数据源配置界面创建的自建数据源，若要操作非引擎数据源，请确保已创建数据源，详情请参见 创建与管理数据源。通过DataWorks使用MaxCompute。数据分析。您可以通过如下方式进入...
概述
MaxCompute JDBC驱动是MaxCompute提供的Java数据库连接（Java Database Connectivity）接口。您可以通过标准的JDBC接口基于MaxCompute执行海量数据的分布式计算查询。MaxCompute JDBC驱动还可以用于连接MaxCompute和支持JDBC的工具。JDBC...
ODPS-0123091
ODPS-0123091:Illegal type cast 错误1：in function cast,value 'xx' cannot be casted from yy to zz 错误信息示例 ODPS-0123091:Illegal type cast-in function cast,value 'xx' cannot be casted from YY to ZZ 问题描述 执行数据类型...
概述
MaxCompute Tunnel是MaxCompute的数据通道，您可以通过Tunnel向MaxCompute中上传或者下载数据。MaxCompute提供的 数据上传和下载工具 是基于Tunnel SDK编写的。本文将为您介绍Tunnel SDK的主要接口，不同版本的SDK在使用上有所差别，准确...
2024年
准备工作 2024-03-25 新增StarRocks Connector 新说明 StarRocks Connector通过实现External Catalog机制，无需数据导入或创建外部表即可无缝访问MaxCompute数据源，并执行复杂的SQL查询，提升了数据分析效率并降低了运维难度和成本。...
RDS外部表
使用RDS数据源创建MaxCompute的外部表并加载数据 使用RDS数据源创建MaxCompute外部表的步骤如下：登录RDS数据库，执行建表语句并插入数据。操作详情请参见 通过DMS登录RDS数据库。建表示例如下：CREATE TABLE `rds_mc_external`(`id` int...
从MaxCompute导入数据报错get odps table error:can ...
2、分析型数据库目前仅允许操作者导入自身为 Project Owner 的 MaxCompute Project 中，或者操作者是 MaxCompute 表的 Table Creator 的数据。3、如果用户的 MaxCompute 开启了保护模式的功能(set projectProtection=true)，数据无法以任何...
MaxCompute湖仓一体概述
MaxCompute提供湖仓一体方案，该方案可以打破数据湖与数据仓库割裂的体系，并将数据湖的灵活性、生态丰富能力与数据仓库的企业级部署能力进行融合，助力构建数据湖和数据仓库相融合的数据管理平台。本文介绍如何通过MaxCompute和异构数据...
SQL其他常见问题
本文为您介绍在MaxCompute中执行SQL时，与数据类型、SQL限制等相关的常见问题。问题类别 常见问题 数据类型 MaxCompute的时间类型字段是否可以不带时分秒？在执行MaxCompute SQL过程中，对DOUBLE类型的数据进行等值比较，为什么结果不符合...
数据可视化展现
回到SQL查询临时文件编辑页面，在数据源选项中选择刚授权的数据源 odps_first。编写SQL命令 在 临时文件 页签，输入如下SQL语句，并单击 图标，查询ads_user_info_1d表数据。select*from ads_user_info_1d where dt='业务日期';若未查询到...
ODPS-0123144
错误码：ODPS-0123144:Fuxi job failed 错误1：kInstanceMonitorTimeout(errCode:252)at Odps/xxx/xxx.Detail error msg:CRASH_EXIT,usually caused by bad udf performance.错误信息 ODPS-0123144:Fuxi job failed-...
MaxCompute作业概述
数据类型 MaxCompute数据开发支持三个数据类型版本：1.0数据类型版本、MaxCompute 2.0推出了兼容开源主流产品的 2.0数据类型版本 和 Hive兼容数据类型版本。您可以根据您MaxCompute作业的实际情况选用合适的数据类型版本，详情请参见 数据...
Spark Connector
spark.sql.sources.partitionOverwriteMode 是 指定INSERT OVERWRITE一个分区的数据源表时的模式，值需要设置为 dynamic，即Spark不会提前删除分区，只覆盖在运行时写入了数据的分区。spark.sql.extensions 是 指定Spark会话扩展，值需要...
数据输入输出
MaxFrame支持直连MaxCompute，允许对MaxCompute中的数据进行高效直接读写操作，运行时无需将数据拉取至本地计算，消除了不必要的本地数据传输，提高了执行效率。MaxCompute表 您可以使用MaxCompute表创建MaxFrame DataFrame对象，并将计算...
MaxCompute+DLF+OSS湖仓一体的湖查询和湖数据入仓实践
创建DataWorks工作空间详情请参见 创建并管理工作空间，绑定MaxCompute数据源请参见 绑定MaxCompute引擎。操作步骤 步骤一：授予MaxCompute访问DLF和OSS的权限 操作MaxCompute项目的账号未经授权无法访问DLF和OSS服务，您需要执行授权操作...
使用Kafka（离线与实时）
本文介绍消息队列Kafka版和自建Kafka数据的写入流程，以及自建Kafka数据的写入示例。Kafka数据写入MaxCompute流程：阿里云全托管Kafka MaxCompute与消息队列Kafka版服务紧密集成，借助消息队列Kafka版服务的MaxCompute Sink Connector，...
SQL概述
MaxCompute SQL是MaxCompute中用于数据查询和分析的SQL语言，其语法类似于标准SQL，但在标准语法ANSI SQL92的基础上进行了一些扩展和限制以更好地服务于大规模数据仓库的场景。本文为您介绍MaxCompute SQL使用场景、使用向导及支持的工具...
兼容性概述
为了帮助您更清晰地使用BI工具连接访问MaxCompute，本文为您介绍MaxCompute支持连接的BI分析工具，以及工具与MaxCompute在数据库连通性、列举数据库等方面的兼容性。兼容性说明 商业智能（BI）分析工具与MaxCompute的兼容性说明如下。工具 ...
准备工作
MaxCompute支持通过标准MaxFrame SDK（本地MaxFrame客户端）、MaxCompute Notebook及DataWorks节点三种方式使用MaxFrame，本文为您介绍使用MaxFrame前需要准备的运行环境。前提条件 已安装3.6及以上版本的Python环境。已创建MaxCompute项目...
Sugar BI连接MaxCompute
在左侧导航栏选择 数据管理>数据源，在 数据源管理 页面，单击 添加数据源。在 添加数据源 对话框，配置如下参数：参数 说明 数据源所处网络 选择 公网。类型 必填。数据源的类型，此处选择 MaxCompute(阿里云)。数据源名称 必填。新建数据...
选择连接工具
DataWorks 使用DataWorks连接 MaxCompute Studio MaxCompute Studio 数据库管理 DBeaver连接MaxCompute DataGrip连接MaxCompute SQL Workbench/J连接MaxCompute ETL工具 使用Kettle调度MaxCompute 使用Apache Airflow调度MaxCompute 使用...
Spark访问湖仓一体外部数据源
MaxCompute Spark目前已支持访问湖仓一体外部数据源，若您想将数据处理作业的环境从Spark更换为MaxCompute，无需再迁移Spark作业数据到MaxCompute，可直接进行访问，从而降低使用成本。本文为您介绍使用MaxCompute访问外部数据源的示例。...
通过日志服务迁移日志数据至MaxCompute
本文为您介绍如何通过日志服务的直接投递功能迁移日志数据至MaxCompute。前提条件 执行本操作的账号为主账号。已开通日志服务，详情请参见 开通日志服务。背景信息 日志服务提供将实时采集的日志数据投递至MaxCompute的功能。如果启用该...
数据上云场景
数据库数据同步 数据库的数据同步到MaxCompute需要根据数据库的类型和同步策略来选择相应的工具。离线批量的数据库数据同步：可以选择DataWorks，支持的数据库种类丰富，包括MySQL、SQL Server、PostgreSQL等，详情请参见 通过向导模式配置...
- 产品推荐
- 这些文档可能帮助您