缺失值处理
功能说明 缺失值处理组件支持对缺失的数据进行填充或剔除，数据集出现缺失值可能会导致后续的建模异常，可以在数据处理阶段对缺失值进行填充或剔除。支持的填充方法有：前值，后值，均值，和指定值。计算逻辑原理 前值：将缺失值按照前面...
缺失值填充批预测
算法简介 数据缺失值填充处理，批式预测组件。运行时需要指定缺失值模型，由缺失值填充训练组件产生。缺失值填充的4种策略，即最大值、最小值、均值、指定数值，在生成缺失值模型时指定。可视化配置参数【输入桩配置】输入桩（从左到右）...
联邦建模概述
联邦数据处理：对联邦表中的数据进行预处理，包括数据预处理和预处理应用。模型训练：使用预处理过的训练集数据训练模型。模型评估：使用预处理过的测试集数据评估模型效果。典型的模型开发业务逻辑如下图所示，其中，离线样本生成的三种...
缺失值填充训练
算法简介 数据缺失值模型训练，缺失值填充支持4种策略，最大值、最小值、均值、指定数值。当策略为指定数值时，需要设置参数填充缺失值。可视化配置参数【输入桩配置】输入桩（从左到右）限制数据类型 建议上游组件 是否必选 数据 存储在...
任务配置
数据预处理 数据预处理节点的构建流程如下：将系统节点列表中的“数据预处理”节点拖拽至画布。配置节点属性。其中，关键参数说明如下：数据预处理算子名称：选择所需算子；可选项为您自定义的或平台自带的数据预处理算子（可在“数据定义>...
数据准备与预处理
step3：数据预处理 本示例使用的原始数据为公开的心脏病案例的数据，数据预处理以将所有字段取值归一化为例，为您展示数据预处理的步骤。本示例的数据预处理主要包括三个处理流程：将原始数据表中，取值为非数值类型的字段，通过SQL替换为...
数据集成概述
数据集成是基于Dataphin构建的简单高效的数据同步平台，致力于提供具有强大的数据预处理能力、丰富的异构数据源之间数据高速稳定的同步能力。背景信息 面对各行各业对大数据的应用，数据集成会有很多的诉求，包括能够简单高效的配置大量...
数据集成概述
数据集成是基于Dataphin构建的简单高效的数据同步平台，致力于提供具有强大的数据预处理能力、丰富的异构数据源之间数据高速稳定的同步能力。背景信息 面对各行各业对大数据的应用，数据集成会有很多的诉求，包括能够简单高效的配置大量...
导入概述
异步导入 Spark Load 通过外部的Spark资源实现对导入数据的预处理，提高StarRocks大数据量的导入性能并且节省StarRocks集群的计算资源。Spark Load是一种异步导入方式，需要通过MySQL协议创建导入作业，并通过 SHOW LOAD 查看导入结果。...
数据对齐
本文为您介绍数据对齐组件。功能说明 数据对齐组件可以指定某一列或多列数据，对指定列进行向前或向后移动若干行。...例如：数据向后偏移两行，则会删除前两行由于偏移产生的缺失数据，其他的缺失值不作处理。是 是 是 否
Kafka实时入湖
字段 类型 说明 key binary Kafka消息key value binary Kafka消息体 topic string Kafka topic partition int Kafka分区值 offset long Kafka消息偏移量 timestamp timestamp 时间戳 timestampType int 时间戳类型 数据预处理含义 数据预...
CREATE MODEL
目前Lindorm AI支持的预处理操作如下表所示：预处理操作 参数 说明 OneHotEncoder 无 使用二进制对类别特征进行编码，适用于没有大小关系的类别特征。OrdinalEncoder 无 将类别特征编码从0开始的整数，适用于有大小关系的类别特征。Imputer...
模型创建
目前Lindorm AI支持的预处理操作如下表所示：预处理操作 参数 说明 OneHotEncoder 无 使用二进制对类别特征进行编码，适用于没有大小关系的类别特征。OrdinalEncoder 无 将类别特征编码从0开始的整数，适用于有大小关系的类别特征。Imputer...
动态特征提取
其他说明 采样数据预处理：根据采样方式获取到采样数据后，算法将剔除所有无效的采样数据，只保留有效的采样数据进行滤波计算。输出后处理：当输出质量码为好值时，则输出当前特征计算值。当输出质量码为坏值时：对于最大值、最小值、平均...
图标散点层（v3.x版本）
数据源 单击 配置数据源，可在 设置数据源 面板中修改数据源类型和数据查询代码、预览数据源返回结果以及查看数据响应结果，详情请参见 配置资产数据。数据过滤器 数据过滤器提供数据结构转换、筛选和一些简单的计算功能。单击 添加过滤器...
矢量散点层（v3.x版本）
数据源 单击 配置数据源，可在 设置数据源 面板中修改数据源类型和数据查询代码、预览数据源返回结果以及查看数据响应结果，详情请参见 配置资产数据。数据过滤器 数据过滤器提供数据结构转换、筛选和一些简单的计算功能。单击 添加过滤器...
矢量散点层（v3.x版本）
value（可选）散点在配置项内用于数据映射的值，缺失则按无数据配置渲染。shapeField（可选）散点的形状映射字段。radiusField（可选）散点的半径大小映射字段。colorField（可选）散点的颜色映射字段。popupType（可选）弹窗类型（需要...
滤波
其他说明 采样数据预处理：根据采样方式获取到采样数据后，算法将剔除所有无效的采样数据，只保留有效的采样数据进行滤波计算。输出后处理：当输出质量码为好值时，则输出当前滤波计算值。当输出质量码为坏值时，则输出前一次输出值（初始...
缺失值填充
一、组件说明 在联邦学习任务中，缺失值指的是数据集中某些特征（属性）的取值缺失。由于许多机器学习算法需要输入完整的数据集进行训练，所以在数据集中存在缺失值会对模型的训练和性能产生影响。因此，需要对缺失值进行填充，以便于联邦...
符号聚合层（v3.x版本）
value（可选）符号点在配置项内用于数据映的值，缺失则按无数据配置渲染。iconField（可选）符号点的形状映射字段。type（可选）符号点的数据分类。popupType（可选）弹框类型（需要搭配二次开发功能使用）。数据项配置 说明 数据源 组件的...
符号聚合层（v4.x版本）
value 可选，符号点在配置项内用于数据映的值，缺失则按无数据配置渲染。id 可选，符号点的唯一标识信息。type 可选，符号点的数据分类。iconField 可选，符号点的形状映射字段。数据项配置 说明 数据源 组件的数据源中通过 代码编辑 或 ...
预处理规则管理
查看预处理规则详细信息 在预处理规则列表中，单击预处理规则名称链接，即可查看该预处理规则的详细信息，包括该预处理规则在各节点中的存储地址、预处理配置和关联的任务等信息。基本信息 在预处理规则的 基本信息 页签下，可以查看预处理...
功能发布记录
招标中标类型分类服务 预训练模型 适用于作为招标解析服务（高级版）、中标解析服务（高级版）的前处理步骤，区分公告类型。详见右侧文档 2021-06-08 招标中标公告类型分类服务 招标中标信息抽取-高级版服务 预训练模型 高级版对比基础版，...
联邦预处理
缺失值填充 函数路径 fascia.biz.preprocessing.fillna 函数定义 def fillna(fed_df:HDataFrame,columns:List[str]=None,value=None,strategy=None)->Tuple[HDataFrame,FillingRule]:请求参数 参数 类型 描述 fed_df HDataFrame 待处理的...
数据脱敏
静态脱敏：对敏感数据进行预处理，将处理后的数据替换原始数据存储在数据库等存储介质中。静态脱敏通常用于测试、开发和演示环境，可以保护敏感数据不被非授权人员查看，同时也避免了因敏感数据泄露导致的法律责任。静态脱敏的优点是处理...
数据解析概述
物联网平台的数据服务提供数据解析功能，通过数据解析对设备数据或导入的API数据源的数据进行解析和预处理后，将数据流转到业务服务器，或以表的形式存储于物联网平台。功能说明 您可在物联网平台控制台的 数据服务>数据解析 页面，创建和...
堆叠区域图
数据源 单击 配置数据源，可在 设置数据源 面板中修改数据源类型和数据查询代码、预览数据源返回结果以及查看数据响应结果，详情请参见 组件数据源配置。数据过滤器 数据过滤器提供数据结构转换、筛选和一些简单的计算功能。单击 添加过滤...
基础区域图
数据源 单击 配置数据源，可在 设置数据源 面板中修改数据源类型和数据查询代码、预览数据源返回结果以及查看数据响应结果，详情请参见 配置资产数据。数据过滤器 数据过滤器提供数据结构转换、筛选和一些简单的计算功能。单击 添加过滤器...
堆叠区域图
数据源 单击 配置数据源，可在 设置数据源 面板中修改数据源类型和数据查询代码、预览数据源返回结果以及查看数据响应结果，详情请参见 配置资产数据。数据过滤器 数据过滤器提供数据结构转换、筛选和一些简单的计算功能。单击 添加过滤器...
MongoDB（无分片键）同步至MongoDB（分片集群架构）
数据传输服务DTS（Data Transmission Service）支持在源端MongoDB的数据中分片键字段缺失的情况下，将数据同步至分片集群架构的MongoDB中，并指定分片键的默认值。本文以 云数据库MongoDB版（副本集架构）为源且 云数据库MongoDB版（分片...
MongoDB（无分片键）同步至MongoDB（分片集群架构）
数据传输服务DTS（Data Transmission Service）支持在源端MongoDB的数据中分片键字段缺失的情况下，将数据同步至分片集群架构的MongoDB中，并指定分片键的默认值。本文以 云数据库MongoDB版（副本集架构）为源且 云数据库MongoDB版（分片...
MongoDB（无分片键）迁移至MongoDB（分片集群架构）
数据传输服务DTS（Data Transmission Service）支持在源端MongoDB的数据中分片键字段缺失的情况下，将数据迁移至分片集群架构的MongoDB中，并指定分片键的默认值。本文以 云数据库MongoDB版（副本集架构）为源且 云数据库MongoDB版（分片...
MongoDB（无分片键）迁移至MongoDB（分片集群架构）
数据传输服务DTS（Data Transmission Service）支持在源端MongoDB的数据中分片键字段缺失的情况下，将数据迁移至分片集群架构的MongoDB中，并指定分片键的默认值。本文以 云数据库MongoDB版（副本集架构）为源且 云数据库MongoDB版（分片...
基础散点图
数据源 单击 配置数据源，可在 设置数据源 面板中修改数据源类型和数据查询代码、预览数据源返回结果以及查看数据响应结果，详情请参见 组件数据源配置。数据过滤器 数据过滤器提供数据结构转换、筛选和一些简单的计算功能。单击 添加过滤...
基础散点图
数据源 单击 配置数据源，可在 设置数据源 面板中修改数据源类型和数据查询代码、预览数据源返回结果以及查看数据响应结果，详情请参见 配置资产数据。数据过滤器 数据过滤器提供数据结构转换、筛选和一些简单的计算功能。单击 添加过滤器...
区域热力层（v3.x版本）
数据源 单击 配置数据源，可在 设置数据源 面板中修改数据源类型和数据查询代码、预览数据源返回结果以及查看数据响应结果，详情请参见 配置资产数据。数据过滤器 数据过滤器提供数据结构转换、筛选和一些简单的计算功能。单击 添加过滤器...
源库Binlog检查
在启动MySQL之间的增量数据迁移任务时，DTS将在预检查阶段对源数据库进行Binlog检查。本文将介绍源库Binlog检查涉及的检查项及修复方法。源库Binlog是否开启检查 该检查项主要检查源数据库是否开启Binlog功能。如果检查失败，请参考下述...
函数概述
函数类型 说明 数据预处理函数 进行平滑、滤波等操作，去除异常数据，方便后续的分析和处理。说明 只支持华东2（上海）地域。数据探索函数 得到样本数据的趋势、极大值、中心值，检验数据是否符合正态分布、均匀分布或指数分布。说明 只...
使用限制
数据湖元数据 限制项 用户配额 单表QPS 500 单表分区数量 100万 数据湖入湖预处理作业 限制项 用户配额 用户入湖作业数量（每个region）1000个 每个入湖作业最大资源量 100CU 兼容与使用限制说明 以下3种Hive特性不支持，建议采用最新Delta...
数据预处理
对于文本数据而言，通常文本数据里面会含有很多跟任务无关的噪音，这时应该进行文本的预处理。在NLP自学习平台内置了一些预处理规则，如果您觉得有必要进行预处理，可以选择这些规则。我们内置的规则包括：去除 URL 链接；去除 emoji 表情...
- 产品推荐
- 这些文档可能帮助您