编辑离线单条管道

离线单条管道即处理离线同步任务的一条管道脚本。本文为您介绍如何编辑离线单条管道。前提条件 完成离线单条管道的创建,详情请参见配置离线单条管道。背景信息 编辑离线单条管道脚本的限制:仅支持管道脚本的提交人和超级管理员角色的用户...

操作离线单条管道

保存成功的管道脚本,状态为草稿。提交成功的管道脚本,状态为已提交。编辑已提交状态的离线单条管道脚本,并成功保存,状态更改为开发中。已提交状态的离线单条管道,成功下线后,状态更改为草稿。下线离线单条管道的限制:仅开发中和已...

下线和删除离线单条管道

保存成功的管道脚本,状态为草稿。提交成功的管道脚本,状态为已提交。编辑已提交状态的离线单条管道脚本,并成功保存,状态更改为开发中。已提交状态的离线单条管道,成功下线后,状态更改为草稿。下线离线单条管道的限制:仅开发中和已...

开启管道

不同类型的作业需要使用不同类型的管道,说明如下。每个用户默认有一个已开启的标准管道、一个已开启的智能生产管道。创建或开启其他类型管道请参见下文操作步骤。说明 智能生产类任务(含智能封面)需使用智能生产管道,系统已为您分配...

查看历史信息

本文为您介绍如何下载离线单条管道脚本及查看脚本的历史版本详情。...在节点版本对话框,单击需要下载脚本的版本所在行操作列下图标,下载该版本的管道脚本。icmsDocProps={'productMethod':'created','language':'zh-CN',};

Dataphin的管道集成任务将MongoDB的数据同步到Hive中,...

概述 Dataphin的管道集成任务将MongoDB的数据同步到Hive中,然后数据发现这几个字段值全部到第一个字段中。详细信息 Dataphin的管道集成任务将MongoDB的数据同步到Hive中,然后数据发现这几个字段值全部到第一个字段中,其他字段是没有数据,...

配置离线单条管道

单击输入前的图标后,单击某个组件拖动到左侧的管道画布中。将鼠标悬停在组件框内并右键单击,选择属性配置后,根据页面提示完成组件的基本配置,详情请参见配置MySQL输入组件。同时还支持复制、删除组件及选择组件向下游节点数据发送方式...

使用Logstash管道配置调试功能

对于这种情况,您可以通过阿里云Logstash提供的管道配置调试功能,在管道配置完成后,直接在控制台上查看管道配置的输出结果,降低调试成本。本文介绍具体的实现方法。前提条件 已安装logstash-output-file_extend插件。如果还未安装,请先...

通过配置文件管理管道

在创建成功提示框中,单击确认,在管道列表中查看创建成功的管道。等待实例重启完成后,即可完成管道任务的创建。修改管道 警告 修改管道后,在保存并部署时会触发实例重启,请在不影响业务的情况下执行操作。在管道列表区域,单击目标管道...

飞线组件

在物理的工厂现场,存在大量的管道线路,比如供水管道\蒸汽管道\废气管道\风机管道等。DTwin产品的飞线功能可以实现在虚拟孪生场景中将重要的管线情况进行还原,并基于管道数据来还原当前管道的真实效果,从而辅助工厂人员在虚拟环境中对...

更新管道

暂停管道后,如果工作流或其他单任务(如视频审核、视频DNA等)中选择使用状态为已暂停的管道,会导致任务失败无法进行。注意 暂停管道后,不会影响已经提交的任务。如果任务提交后关闭管道,已经进入处理排队的任务将无法取消,会正常执行...

Logstash数据写入问题排查方案

参见使用Logstash管道配置调试功能,开启Logsatsh的管道配置调试功能(需要安装logstash-output-file_extend插件),查看调试日志,判断是否有数据流入Logstash服务: 无数据流入Logstash:检查源端配置信息是否正确。有数据流入Logstash:...

移动离线单条管道

离线单条管道即处理离线同步任务的一条管道脚本。本文为您介绍如何移动离线单条管道。前提条件 完成离线单条管道的创建,详情请参见配置离线单条管道。操作步骤 登录Dataphin控制台。在Dataphin控制台页面,选择工作区地域后,单击进入...

Dataphin中如何实现天调度任务跨周期依赖小时任务

另外,基于该物理表创建了事实逻辑表(逻辑表每天凌晨调度运行),这样天调度的逻辑表就依赖了小时调度上游的管道任务务,逻辑表中读取的数据希望是前一天管道任务最后一次同步的数据,这样就出现天调度的任务跨周期依赖小时任务的场景。...

重命名离线单条管道

本文为您介绍如何重命名离线单条管道。前提条件 完成离线单条管道的创建,详情请参见配置离线单条管道。背景信息 重命名离线单条管道的权限限制,详情请参见数据引入权限列表。操作步骤 登录Dataphin控制台。在Dataphin控制台页面,选择...

通过Logstash同步Azure Event Hubs数据至...

Hubs事件中心中的数据同步到阿里云Elasticsearch中时,可使用阿里云Logstash的管道配置功能实现。本文介绍具体的实现方法。操作流程 步骤一:准备环境与实例 步骤二:创建并配置Logstash管道 步骤三:验证结果 步骤一:准备环境与实例 创建...

上传管道脚本

Dataphin支持将已下载的管道脚本上传至系统进行二次开发。本文为您介绍如何上传管道脚本。前提条件 已下载管道脚本,详情请参见下载管道脚本。背景信息 上传管道脚本,详情请参见数据引入权限列表。操作步骤 登录Dataphin控制台。在...

使用阿里云ES监控RabbitMQ

较大的管道批大小可能会带来较大的内存开销。您可以设置LS_HEAP_SIZE变量,来增大JVM堆大小,从而有效使用该值。默认值:125。管道批延迟 创建管道事件批时,将过小的批分派给管道工作线程之前,要等候每个事件的时长,单位为毫秒。默认值...

媒资转码

如果管道列表中没有您需要的管道类型,请先开启所需类型的管道。将需要处理的视频上传至OSS。详细操作请参见上传视频。(可选)如预置转码模板不能满足您的实际转码需要,您可以自定义转码模板。详细操作请参见新增自定义转码模板。(可选...

设置消息通知

如果您需要使用普通管道进行单任务操作并接收消息通知,则需要为您为主题通知或队列绑定管道,在创建单任务时选择绑定了主题通知(队列)的管道即可正常接收消息。说明 如果您使用工作流,则无需绑定管道。媒体处理中通过工作流触发执行的...

一字管道

该组件可作为连接组件静态展示,也可关联数据展示和控制管道内的流动效果和方向。下文介绍组件的详细配置方法。步骤一:添加组件 创建Web应用。详细操作请参见创建Web应用。在Web应用编辑器中,单击最左侧的组件图标。在画布左侧组件列表...

Dataphin的管道任务中如何去掉源数据的换行符

问题描述 Dataphin的管道任务中如何去掉源数据的换行符?解决方案 以MySQL数据源为例,在计算字段组件中使用REPLACE()函数对输入端数据中的换行符进行替换去除。除了使用计算字段组件外,也可以使用管道任务的脚本模式,在QuerySQL中对存在...

使用Filebeat+Kafka+Logstash+Elasticsearch构建日志...

如果您有多topic的数据同步需求,需要在kafka中添加新的topic,然后在Logstash的管道配置中添加input。示例如下:input {& kafka {&bootstrap_servers=> ["alikafka-post-cn-zvp2n4v7*-1-vpc.alikafka.aliyuncs.com:9092,alikafka-post-...

管理条件分发组件

将条件分发组件拖到左侧的管道画布中。将鼠标放置在条件分发组件框内右键单击,选择属性配置。根据条件分发设置对话框提示,配置参数。参数 描述 步骤名称 根据当前组件的使用场景,填写组件名称。输入字段 根据上游的输入,为您展示输入...

引入数据

单击输入前的图标后,选中MySQL组件并拖动至左侧的管道画布中。鼠标悬停至组件框内并右键单击,选择属性配置。在MySQL输入配置对话框,配置参数。参数描述数据源选择数据源Dataphin。数据源选择单表。表选择来源表company_sales_record_...

通过阿里云Logstash将自建Elasticsearch数据迁移至...

当您需要将自建Elasticsearch中的数据迁移到阿里云Elasticsearch中时,可以通过阿里云Logstash的管道配置功能实现。本文介绍具体的实现方法。使用限制 自建Elasticsearch集群所在的ECS的网络类型必须是专有网络,不支持Classiclink方式打通...

管理字段选择组件

将字段选择组件拖到左侧的管道画布中。将鼠标放置在字段选择组件框内右键单击,选择属性配置。根据字段选择配置对话框提示,配置参数。参数 描述 步骤名称 根据当前组件的使用场景,填写组件名称。输入字段 根据上游的输入,为您展示输入...

新手指引

步骤三、开启管道各类任务所使用的管道类型不同,详细管道类型及开启说明请参见开启管道。登录媒体处理控制台。在顶部导航栏左侧选择与您的OSS Bucket一致的地域。在左侧导航栏,选择全局设置>管道。找到所需管道类型,单击操作列启用管道...

快速入门

本文为您介绍如何创建一个阿里云Logstash实例,并通过Logstash的管道配置,完成阿里云Elasticsearch实例间的数据同步。背景信息 在开始本文操作前,请先了解以下背景信息:什么是阿里云Elasticsearch 什么是阿里云Logstash 前提条件 注册...

管理DRDS组件

将DRDS组件拖到左侧的管道画布中。鼠标悬停至DRDS组件框内右键单击,选择属性配置。在DRDS输入配置对话框,配置参数。参数 描述 步骤名称 根据当前组件的使用场景,填写名称。数据源 选择数据源。选取Dataphin系统中已配置的数据源,且数据...

一键生成目标表

创建用于数据集成的管道任务。一键生成目标表 一键创建目标数据源的目标表,以配置管道任务。验证结果 验证目标表是否集成到数据。准备工作 准备数据源,详情请参见准备数据源。创建MaxCompute项目,详情请参见创建工作空间。工作空间名称 ...

管理Vertica组件

将Vertica组件拖到左侧的管道画布中。鼠标悬停至Vertica组件框内右键单击,选择属性配置。在Vertica输入配置对话框中,配置参数。参数 描述 步骤名称 根据当前组件的使用场景,填写名称。数据源 选择数据源。选取Dataphin系统中已配置的...

管理限速流程组件

将限速组件拖到左侧的管道画布中。将鼠标放置在限速组件框内右键单击,选择属性配置。根据限速组件配置对话框提示,配置参数。参数 说明 步骤名称 根据当前组件的使用场景,填写组件名称。速度上限 选择数据传输的速度上限:如果您选择基于...

创建和管理自定义存储表

自定义存储表可应用于数据分析的多个功能,需注意以下几点:无数据输出的自定义存储表,仅可作为一个数据管道或SQL分析任务的输出对象。已有数据的自定义存储表,可同时作为多个SQL分析任务的查询对象,以及数据API和可视化报表的数据来源...

绘图

根据是否锚定在组件上(移动组件时,连线管道也随着组件一起移动),传送带分为连线管道和自由管道管道可以配置流体动画。连线管道和自由管道的新建和修改方法同连线。传送带传送带是物料传输装置,由皮带轮和皮带组成。根据是否锚定在...

通过阿里云Logstash将MaxCompute数据同步至...

较大的管道批大小可能会带来较大的内存开销。您可以设置LS_HEAP_SIZE变量,来增大JVM堆大小,从而有效使用该值。默认值:125。管道批延迟 创建管道事件批时,将过小的批分派给管道工作线程之前,要等候每个事件的时长,单位为毫秒。默认值...

管理LogHub输入组件

将LogHub组件拖到左侧的管道画布中。鼠标悬停至LogHub组件框内右键单击,选择属性配置。在LogHub输入配置对话框,配置参数。参数 说明 步骤名称 根据当前组件的使用场景,填写名称。数据源 选择Dataphin系统中已配置的数据源,且需同时具备...

管理SQL Server组件

Server组件拖到左侧的管道画布中。鼠标悬停至SQL Server组件框内右键单击,选择属性配置。在SQL Server输入配置对话框中,配置参数。参数 描述 步骤名称 根据当前组件的使用场景,填写名称。数据源 选择数据源。选取Dataphin系统中已配置的...

搜索管道

State String 否 Paused 需要搜索的管道状态。如果为空则默认搜索所有管道。All:全部管道。Active:管道开启。Paused:管道暂停。默认值:All。返回数据 名称 类型 示例值 描述 TotalCount Long 1 总条数。PageSize Long 10 每页行数大小...

实例列表概览

单击右侧操作列下的管道管理,可在管道管理页面创建并配置管道。详细信息,请参见通过配置文件管理管道。管理实例 单击右侧操作列下的实例管理,可在实例管理页面进行集群配置、插件配置、网络与安全配置、集群监控、日志查询和管道管理...
共有16条 < 1 2 3 4 ... 16 >
跳转至: GO
新人特惠 爆款特惠 最新活动 免费试用