输入与输出
MaxCompute MapReduce的输入、输出，支持MaxCompute内置类型的Bigint、Double、String、Datetime和Boolean类型，不支持您自定义数据类型。接受多表输入，且输入表的Schema可以不同。在Map函数中，您可以获取当前Record对应的Table信息。...
自定义血缘配置
每个输入输出配置将同时生成表级血缘和字段级血缘。例如：输入表1选择table A的a字段，输入表2选择table B的b字段，输出表选择table C的c,d字段，则会生成以下血缘关系：表级血缘：table A->table C;table B->table C。字段级血缘：table A...
自定义血缘配置
每个输入输出配置将同时生成表级血缘和字段级血缘。例如：输入表1选择table A的a字段，输入表2选择table B的b字段，输出表选择table C的c,d字段，则会生成以下血缘关系：表级血缘：table A->table C;table B->table C。字段级血缘：table A...
数据处理
数据处理类节点包括页面导航节点、并行数据处理节点、串行数据处理节点、序列执行节点和WebSocket节点。本文介绍在蓝图编辑器中，配置数据处理类节点的方法。页面导航节点 页面导航 节点，可用于实现页面跳转的功能，支持新开浏览器标签页...
LightGBM
它可以说是分布式的，高效的，有以下优势：更快的训练效率 低内存使用 更高的准确率 支持并行化学习 可以处理大规模数据 与常见的机器学习算法对比，速度是非常快的。计算逻辑原理 LightGBM 通过叶分裂(Leaf-wise)策略来生长树。每次从当前...
创建自定义组件
创建自定义组件支持选择不同的任务类型（包括：Tensorflow、PyTorch、XGBoost、ElasticBatch）、创建输入输出管道、配置超参等，自定义组件创建成功后，会转换为Designer界面可视化参数配置，详情请参见 操作步骤。针对不同的任务类型，...
功能特性
单击在线体验 音 视 频增强 音频增强 视频云音频实验室有机结合传统信号处理与深度学习技术，提供全场景音频增强与修复方案。单击在线体验。重要 以下功能需要在 提交转码作业 时 配置相应参数 使用，音频部分按照输出的音频规格和时长，...
什么是Serverless工作流
状态包括输入和输出等。方便您快速识别故障位置，并快速排除故障问题。支持长时间运行流程 Serverless 工作流 可以跟踪整个流程，持续长时间执行确保流程执行完成。有些流程可能要执行几个小时、几天、甚至几个月。例如运维相关的Pipeline...
常见问题
您可以使用 云工作流 编排一系列的函数资源，同时定义流程中每一步的输入和输出，使用内置控制步骤编排复杂逻辑、发起并行执行、管理超时或终止流程。另外通过 云工作流 的控制台能够使用图形界面显示出执行任务状态和执行顺序，同时 云...
PolarDB MySQL版8.0.2版本发布日志
修复Hybrid Plan应用于带Order By的SQL语句，且输出行包含NULL时，报 table definition has changed 错误的问题。修复部分内置存储过程输入变量数量错误，不能正确报错的问题。修复并行查询将GROUP BY下推到Worker上去并行执行时，在有分区...
2021年
跨机并行查询 PX支持并行Delete 跨机并行查询支持并行delete，包括带子查询和不带子查询的并行delete。通过设置polar_px_enable_delete参数，开启或关闭该功能，默认值为false。设置为true时，表示开启并行delete功能。设置为false时，表示...
PolarDB并行查询
两个阶段没有重叠，这样就实现了全阶段的并行，但Parallel Hash join也有自身的问题，例如：共享Hash Table过大导致spill to disk问题，并行插入虽然无锁，但仍有“同步”原语带来的cache invalidation。Partition Hash join Partition ...
PolarDB MySQL版8.0.1版本发布日志
修复Hybrid Plan应用于带Order By的SQL语句，且输出行包含NULL时，报错"table definition has changed"的问题。8.0.1.1.38.1 类别 说明 发布时间 问题修复 未添加过Statement Outline的集群，在版本升级后如果添加了Statement Outline，...
Hive作业调优
另外，有多少个Reduce，就会有多少个输出文件，如果生成了很多个小文件，并且这些小文件作为下一个任务的输入，则会出现小文件过多的问题。并行运行 并行运行表示同步执行Hive的多个阶段。Hive在执行过程中，将一个查询转化成一个或者多个...
通过配置文件管理管道
Logstash通过管道完成数据的采集与处理，管道配置中包含input、output和filter（可选）插件，input和output用来配置输入和输出数据源、filter用来对数据进行过滤或预处理。阿里云Logstash支持多管道并行运行，目前最多支持20个。本文介绍...
PolarDB HTAP实时数据分析技术解密
对每一个计算表达式，其输入和输出都以Batch为单位，在Batch处理模式下，计算过程可以使用SIMD指令进行加速。即表达式系统有两项关键优化：充分利用列式存储的优势，使用分批处理模型代替迭代器模型，使用SIMD指令重写大部分常用数据类型的...
列存索引技术架构介绍
在处理大数据量下复杂查询所需要的能力方面，如优化器处理子查询的能力、高性能算子HashJoin、SQL并行执行能力等，MySQL社区一直将其放在比较低优先级上，因此，MySQL的数据分析能力提升进展缓慢。随着MySQL发展为世界上最为流行的开源数据...
组件参考：所有组件汇总
条件随机场 条件随机场CRF（conditional random field）是给定一组输入随机变量条件下，另一组输出随机变量条件的概率分布模型，其特点是假设输出随机变量构成马尔可夫随机场。文章相似度 文章相似度是在字符串相似度的基础上，基于词，...
2021年
跨机并行查询 2021年12月 PX支持并行Delete 跨机并行查询支持并行delete，包括带子查询和不带子查询的并行delete。通过设置polar_px_enable_delete参数，开启或关闭该功能，默认值为false。设置为true时，表示开启并行delete功能。设置为...
PolarDB处理TPC-H查询的挑战和机遇
这是MySQL比较薄弱的一方面，在其优化逻辑中，经常会插入更多的用于最终结果计算的额外表达式，但这些表达式可能与已有表达式重叠，但它没有精细的区分与处理。PolarDB 中之前还修复过一个Bug：对于已计算完成的标量子查询，会在后续执行中...
倍速转码公测结束，正式版上线
公测结束时间 2023年3月29日 正式版上线时间 2023年3月30日 功能介绍 将视频源切分为多个较小的片段后并行转码，可将转码速度提升5~30倍，显著缩短处理耗时，适用于对首发、时效性要求较高的资讯、赛事、重要内容场景。类型 说明 加速倍数 ...
使用Stage和Task详情分析查询
部分Stage可以并行执行，但部分Stage之间存在依赖关系，只能串行执行，导致一些复杂SQL语句的查询耗时问题难以分析，您可以调用API或通过控制台使用Stage和Task详情进行慢查询问题分析。本文主要介绍如何使用Stage和Task详情分析查询。操作...
数据传递
Input=$Context.Current.Input$Output=$Context.Current.Output 数据传递 不同类型的状态（State）之间存在不同的输入输出传输逻辑，在没有输入输出构造器定义的情况下，不同状态（State）的输入输出逻辑如下。传递（Pass）/成功（Succeed...
如何解决Redis内存使用率突然升高
升级实例规格，以保证输入输出缓冲区的使用。详情请参见 变更实例配置。排查是否因客户端性能问题导致输出缓冲区积压 排查方法：在Redis中，执行 MEMORY DOCTOR 命令，查看 big_client_buf 的值。当big_client_buf=1时，代表至少有一个客户...
DT-PID V2.1.0
请注意积分系数，微分系数的输入参数定义方式，其中Ti与Td是以算法底层秒为单位的积分时间与微分时间。公式中不包含的采样时间Ts 会在算法中考虑。设定值死区上下限为0时意味着该功能禁用。算法开关和手自动开关可以随时打开关闭。即使用了...
功能简介
数据开发帮助用户优化智能系统的架构，提高系统的工程化水平，让用户能够集中精力处理计算逻辑问题，提高开发效率。数据开发除了在系统层面上集中管理计算节点，降低计算节点和系统其他组件的耦合之外，也对计算节点内部的实现提供了一组...
功能简介
数据开发帮助用户优化智能系统的架构，提高系统的工程化水平，让用户能够集中精力处理计算逻辑问题，提高开发效率。数据开发除了在系统层面上集中管理计算节点，降低计算节点和系统其他组件的耦合之外，也对计算节点内部的实现提供了一组...
数据开发
数据开发帮助用户优化智能系统的架构，提高系统的工程化水平，让用户能够集中精力处理计算逻辑问题，提高开发效率。数据开发除了在系统层面上集中管理计算节点，降低计算节点和系统其他组件的耦合之外，也对计算节点内部的实现提供了一组...
循环（Map）
基本概念 循环状态遍历输入中的某个数组类型参数，对于数组中的每个元素，并行执行其处理器（Processor）状态。循环状态类似于编程语言中的 foreach，不同之处是这里的迭代是并行执行的。执行并行循环步骤会并发执行输入参数中的每个元素的...
主备合流配置
视频直播单个直播中心支持2路直播流自动合流处理和输出，优先播放主流的内容，当主流内容出现问题时将自动切换至备流内容。通过阅读本文，您可以了解如何配置主备合流功能，保障直播的稳定性。使用限制 主备合流配置的模板数与固定拉流配置...
智能审核
任务提交后您可以在当前页签下方列表中查看任务的执行状态以及配置信息和输入、输出地址等。使用工作流提交智能审核任务 登录 媒体处理控制台。在顶部菜单栏左侧选择地域。在左侧导航栏，选择 工作流管理>工作流编排。单击 创建工作流。...
Java SDK使用说明
同时，以字符串输入输出、TensorFlow输入输出、QueueService客户端和请求数据压缩为例，提供了使用Java SDK进行服务调用的完整程序示例。添加依赖项 使用Java编写客户端代码时，在Maven工程中使用 EAS Java SDK，必须在 pom.xml 文件中添加...
使用说明
} 输入及输出 MaxCompute Graph作业的输入输出限制为表，不允许您自定义输入输出格式。作业输入定义如下。GraphJob job=new GraphJob();job.addInput(TableInfo.builder().tableName(“tblname”).build());表作为输入。job.addInput...
时滞处理
是 不限 不限 OUT端口-输出参数 参数名 参数描述 输出数据类型 OUT 时滞后的输出变量，与IN端口配置的输入参数一致。与输入数据类型一致 其他参数 参数名 参数描述 是否必填 参数默认值 参数范围 时滞周期 需要时滞的运行周期个数，默认0，...
使用EXPLAIN查看并行计划
本文介绍如何使用EXPLAIN语句查看执行计划输出中与并行查询相关的内容。查询用表 本文示例中使用 pq_test 表进行并行查询测试。表结构如下：SHOW CREATE TABLE pq_test\G*1.row*Table:pq_test Create Table:CREATE TABLE `pq_test`(`id` ...
集成视觉智能服务
RefineMask 对输入图像与粗糙mask进行精细化处理，输出精细化mask。imageenhan 开通图像增强服务 ChangeImageSize 改变图片大小。IntelligentComposition 输入一张的图像，通过美学评估，智能输出几个bounding box，根据这些bounding box...
技术类问题
输入输出参数怎么填?SDK性能表现如何？如何解决屏幕黑屏问题？接入 美颜特效SDK 后，画面纯色闪烁，移动手机后，画面颜色变化，但仍然没有画面？启动后闪退问题？贴纸/美妆功能，人脸像呈90度横屏后，人脸不可识别问题？基础美颜有效，高级...
提交节点报错：当前节点依赖的父节点输出名不存在
为了避免依赖关系配置错误导致数据出现问题，DataWorks会在提交节点时对表数据血缘关系的输入输出与调度配置的输入输出进行比较，如果不一致会给您提示，详情可参见 提交节点时提示：输入输出和代码血缘分析不匹配。不是DataWorks每天调度...
使用MapReduce处理JindoFS上的数据
JindoFS目前已兼容大部分HDFS接口，只需要将MapReduce作业的输入、输出目录配置到JindoFS，即可实现读写JindoFS上的文件。Hadoop MapReduce是一个使用简易的软件框架，基于它写出来的应用程序能够运行在由上千个商用机器组成的大型集群上，...
监控告警与日志问题
社区Connector是没有实现曲线汇报逻辑的，所以输入输出延迟等曲线显示异常。解决方案 使用Ververica Connector依赖，详情请参见 ververica maven仓库。如何解决非Static方法输出不到SLS中的问题？问题详情 由于SLS Logger Appender实现逻辑...
- 产品推荐
- 这些文档可能帮助您