模拟IDC Spark读写MaxCompute实践
Local：运行代码只调用当前ECS的计算资源。Yarn：运行代码使用EMR集群所有ECS的计算资源，运行效率比Local模式高。jars 依赖的jar包路径。class 需要执行的类名称。jar-path 需要执行的jar包路径。maxcompute-project-name MaxCompute的...
计算任务概述
Dataphin的计算任务页面支持创建多种类型的...⑤ 控制台 运行或预编译任务时，将在控制台显示运行日志和运行结果信息。计算任务入口 在Dataphin首页，单击顶部菜单栏的 研发。默认进入数据 开发 页面。按照下图操作指引，进入 计算任务 页面。
计算任务概述
Dataphin的计算任务页面支持创建多种类型的...⑤ 控制台 运行或预编译任务时，将在控制台显示运行日志和运行结果信息。计算任务入口 在Dataphin首页，单击顶部菜单栏的 研发。默认进入数据 开发 页面。按照下图操作指引，进入 计算任务 页面。
使用Logview 2.0查看作业运行信息
Fuxi Task会有可能因为 interrupted 状态而重试运行，此时Progress只显示重试运行部分的进度，所以会出现整个作业已经执行成功但是此Fuxi Task的Progress不是 100%的现象，此为正常显示。③ Logview为不同阶段的Instance进行了分组。您可以...
image
{ mode:'center',text:'center：不缩放图片，只显示中间区域' },{ mode:'left',text:'left：不缩放图片，只显示左边区域' },{ mode:'right',text:'right：不缩放图片，只显示右边边区域' },{ mode:'top left',text:'top left：不缩放图片，...
设置健康检查
检测过程中，如果发现您没有配置健康检查URL，此时应用的运行状态同样显示为 运行正常，但运行状态右侧会显示感叹号，鼠标在叹号上悬停时会提示：请启用应用的健康检查URL，以便更精准的反映应用运行状态。Agent异常：在健康检查的流程图中...
Spark常见问题
以下配置必须在DataWorks配置项/spark-defaults.conf文件中添加 spark.hadoop.odps.cupid.trusted.services.access.list=[YourBucketName].oss-[YourRegionId]-internal.aliyuncs.com 说明 在MaxCompute Spark集群模式运行时只支持OSS内网...
DBS备份SQL运行时间与RDS控制台显示不一致
原因 出于备份数据可靠性考虑，针对DBS逻辑备份，运行备份SQL时会设置0时区，而RDS的SQL审计记录备份SQL会带上东8区信息，因此RDS控制台上备份SQL的显示运行时间与真实运行时间会相差8小时，真实运行时间以DBS控制台为准。
查看业务服务
物联网应用开发（IoT Studio）提供查看业务逻辑服务的功能，包括业务服务基本信息、逻辑配置、监控运维等。...查看服务运行时长分布图，该分布图按分钟显示服务运行时间的趋势，帮助您了解哪些时段服务耗时较多，便于优化业务服务的配置。
开发及提交SQL脚本
当SQL开始在MaxCompute服务端运行时，会自动打开任务详情页签，显示运行作业的基本信息。显示预估SQL费用依赖在 MaxCompute SQL配置选项 勾选 Show sql cost confirm dialog when script submitted 在控制台 结果 页签查看SQL运行结果。...
查看服务器信息
云监控插件 在该区域内，系统会显示云监控插件的状态：如果显示 运行中，表示云监控插件运行正常。如果显示 已停机，单击 安装，否则 服务器监控 区域的内存和磁盘监控信息将无法显示。关联产品 在该区域，系统会显示 云虚拟主机、云服务器...
SHOW
描述 SHOW 将显示运行时参数的当前设置。这些变量可以使用 SET 语句、编辑 postgresql.conf 配置参数、通过 PGOPTIONS 环境变量（使用 libpq或者基于libpq的应用时）或者启动 postgres 服务器时通过命令行标志设置。语法 SHOW name SHOW ...
管理云电脑
连接与断连 连接云电脑 若云电脑卡片左上角显示 运行中，可将鼠标悬停在卡片上，然后单击 连接云电脑。若云电脑卡片左上角显示 使用中，可将鼠标悬停在卡片上，然后单击 显示窗口 即可直接唤出云电脑。说明 登录终端后，如果该账号下只有一...
数据服务
资产总览 资产总览界面如下图所示，展示平台提供的所有交通运行指标（下图仅为示例，具体显示指标请以产品实际显示为准）。当您点击某个指标，即以该指标为关键字进行搜索，搜索完成后，跳转至“数据接口”界面，展示该指标的指标说明，...
迁移消费者程序
test-topic 创建为Local引擎 Topic 迁移到目标实例的非Compact类型的Topic如果想保持为Local引擎，则在此填写。不填写则被创建为云引擎。单击 配置运行环境 显示该参数。test-topic 在 配置目标服务 页签，单击 创建。创建完成后，在 迁移...
实例自定义数据
在第一次启动时，会执行运行频率为 once-per-instance 的配置，即这些配置在每台实例上只运行一次。在该实例后续重启系统时，cloud-init服务会执行频率为 always 的配置，即这些配置在系统每次启动时都会运行。如果您采用Include文件或Gzip...
迁移上云
单击 配置运行环境 且设置 同步消费组 为 是 时显示该参数。默认选择 是。是 Topic 源实例的Topic是否需要同步到目标实例，不填写则同步所有Topic。单击 配置运行环境 显示该参数。test-topic 创建为Local引擎 Topic 迁移到目标实例的非...
步骤七：运维补数据
在 已提交实例 中将显示相应的运行信息。逻辑表任务补数据 在Dataphin首页，单击顶部菜单栏的 研发。按照下图操作指引，选择 dim_products 任务进行补数据。在 补数据-补当前任务 对话框，配置参数。参数 描述 补数据实例名称 使用 默认...
步骤七：运维补数据
在 已提交实例 中将显示相应的运行信息。逻辑表任务补数据 在Dataphin首页，单击顶部菜单栏的 研发。按照下图操作指引，选择 dim_products 任务进行补数据。在 补数据-补当前任务 对话框，配置参数。参数 描述 补数据实例名称 使用 默认...
通过ADP-Local问题排查
进入ADP-Local首页发现异常信息 进入ADP-Local首页，发现有组件状态异常、告警消息、诊断建议。排查问题 发现问题后，接下来就是排查和定位问题，在ADP-Local可以按不同场景排查问题。自动诊断并提供诊断建议 进入ADP-Local首页，如果该...
搭建Linux开发环境
sudo make prefix=usr/local/git all#安装Git至/usr/local/git路径。sudo make prefix=usr/local/git install 下载MaxCompute Spark客户端包并上传至操作系统 MaxCompute Spark发布包集成了MaxCompute认证功能。作为客户端工具，它通过...
CentOS 6 自建安装 Nginx+Mysql环境+PHP环境
cp/usr/local/mysql/support-files/mysql.server/etc/init.d/mysqld cp/usr/local/mysql/support-files/my-default.cnf/etc/my.cnf 运行以下命令为MySQL的启动脚本添加可执行权限。chmod+x/etc/init.d/mysqld 依次运行以下命令添加MySQL至...
关停或启动网站站点
启动站点完成后，网站的运行状态显示为 运行中，网站也会恢复正常运行。相关文档 网站由于耗资源严重而影响性能时，阿里云会暂停您的网站，并向您发送网站耗资源（客户程序故障）停权通知，您可以通过关闭或重启站点方式来解决该问题。更多...
动态轨迹线层
显示头部 打开开关后，动态轨迹飞线运行时显示头部样式；关闭开关后，动态轨迹飞线运行时候头部样式不显示。叠加模式 在列表中选择围栏的叠加模式，可选 添加模式、正常模式 和 无叠加。飞线速度 设置动态轨迹飞线的运行速度。飞线长度 ...
Dataphin中查看逻辑表实例时，没有显示具体运行日志...
概述 本文介绍了为什么Dataphin中查看汇总逻辑表日志时，没有显示具体运行日志信息而是显示：“is idle,will skip and set success。详细信息 在Dataphin中查看统计周期为月的汇总逻辑表日志时，没有显示具体运行日志信息而是显示：“is ...
使用ClickHouse-Local迁移上云
在安装ClickHouse-Local的主机机器上运行ClickHouse-Local。clickhouse local-query"INSERT INTO FUNCTION remoteSecure('HOSTNAME.clickhouse.cloud:9440','db.table','default','PASS')SELECT*FROM mysql('host:port','database','table'...
Kafka数据接入
单击 配置运行环境 显示该参数。该交换机必须与 云消息队列 Kafka 版 实例处于同一VPC。默认为部署 云消息队列 Kafka 版 实例时填写的交换机。vsw-bp1d2jgg81*失败处理 消息发送失败后，是否继续订阅出现错误的Topic的分区。单击 配置运行...
五分钟入门阿里云Terraform OSS Backend
本文将介绍Terraform的Backend机制及如何使用Terraform OSS Backend。...如果想把生成 terraform.tf 的state也存放在上述的OSS Backend中，只需再次运行 terraform init 命令，本地目录下的local state将会自动同步到OSS Backend中。
运行中心
模块提供所有管控策略运行状态的总览。运行中心界面如下图所示，左侧数据面板为您显示当前已建立的...左侧面板默认显示所有策略，您可设置只显示“生效”策略，或只显示某一类策略。选中具体策略，如下图所示，地图中定位至该策略的目标路段。
查看并管理手动任务
手动任务不会自动运行，只有手动触发运行才会生成实例。本文为您介绍手动任务运维功能。手动任务页面入口 在Dataphin首页，单击顶部菜单栏的 研发。默认进入数据 开发 页面。按照下图操作指引，进入 手动任务 页面。手动任务页面介绍 手动...
CREATE VIEW
这将创建一个基于 comedies 视图的视图，只显示 kind='Comedy' 和 classification='U' 的电影。如果新行没有 classification='U'，在该视图中的任何 INSERT 或 UPDATE 尝试将被拒绝，但是电影的 kind 将不会被检查。通过 CASCADED CHECK ...
查看并管理手动任务
手动任务不会自动运行，只有手动触发运行才会生成实例。本文为您介绍手动任务运维功能。手动任务页面入口 在Dataphin首页，单击顶部菜单栏的 研发。默认进入数据 开发 页面。按照下图操作指引，进入 手动任务 页面。手动任务页面介绍 手动...
管理存储过程
概述 在 OceanBase 开发者中心（OceanBase Developer Center，ODC）首页单击连接名进入连接后，在左导航栏中单击 存储过程 标签可查看存储过程列表，在存储过程列表中显示当前连接的数据库中存在的存储过程对象。在存储过程列表中，可查看...
基本概念
任务流版本形态如下：编辑态版本：当前可编辑的版本，每次单击试运行（手动触发）都会保存一个编辑态版本，且每次运行都只会基于最新的、且可编辑的版本运行。发布态版本：任务流发布后会产生一个版本，每次定时触发都会运行当前最新的发布...
运行模式
MaxCompute Spark支持三种运行方式：Local模式、Cluster模式和DataWorks执行模式。Local模式 MaxCompute Spark支持用户以原生Spark Local模式进行作业调试。与Yarn Cluster模式类似，您首先需要做以下准备工作：准备MaxCompute项目以及对应...
开发UDF
本地运行时选择 local。说明 如果需要使用MaxCompute项目中的表数据，需要先在 MaxCompute project 中更改设置Endpoint和指定项目名称，指定的MaxCompute项目的表数据未被下载至 warehouse 目录中，会先下载数据；如果数据已经下载，则跳过...
调试代码片段：快捷运行
DataWorks的快捷运行功能，帮助您在节点编辑页面，快速运行选中的代码片段。您可以通过该功能测试代码片段编写是否正确。本文为您介绍如何快捷运行目标代码。前提条件 已创建ODPS SQL或EMR Hive节点，并编写任务代码。创建ODPS SQL节点，...
节点画布概览
您可以在开发节点画布中写SQL、配置节点属性参数、运行参数和调度参数。本文介绍节点画布的各功能区，方便您快速熟悉节点画布功能，为新建开发节点做准备。序号 区域 说明 ① 节点画布的工具栏 节点画布的工具栏，支持保存、解析、离线节点...
节点画布概览
您可以在开发节点画布中写SQL、配置节点属性参数、运行参数和调度参数。本文介绍节点画布的各功能区，方便您快速熟悉节点画布功能，为新建开发节点做准备。序号 区域 说明 ① 节点画布的工具栏 节点画布的工具栏，支持保存、解析、离线节点...
作业实例详情
概要：以JSON格式显示作业运行详细信息。结果：显示该作业运行结果。计划：展示作业运行计划信息。工具栏、：页面左右折叠。用来收起或完全展开左右侧视图，允许您最大化某一个视图进行查看。停止作业。用来中断正在执行的作业，需要具有...
- 产品推荐
- 这些文档可能帮助您