智能异常分析概述
滤波方法 滤波是将信号中特定波段频率滤除的操作，是抑制和防止干扰的一项重要措施。通过滤波后的曲线会平滑一些，用于提升异常检测的效果。标注 您可以对智能巡检结果进行打标反馈，智能异常分析应用会接收到对应的信息。误报 在时序巡检...
K近邻
输入表数据是稀疏格式 使用 KV 格式表示稀疏数据。kv间的分隔符 默认为英文逗号（,）。key和value的分隔符 默认为英文冒号（:）。参数设置 近邻个数 默认值为100。执行调优 核心数 默认系统自动分配。内存数 默认系统自动分配。方式二：PAI...
K均值聚类
是 300[1,99999999]算法 自动：根据数据值是否是稀疏的，来决定选择“K-Means”或“elkan K-Means”。建议直接使用此默认选项。elkan K-Means：数据值稠密可以选择此算法。K-Means：数据值稀疏可以选择此算法。是 自动 自动 K-Means算法 ...
奇异值分解
如果是稀疏矩阵，支持STRING类型。如果是表，支持INT和DOUBLE类型。默认选择所有列。inputTablePartitions 否 输入表中指定参与分析的分区，格式为 Partition_name=value。如果是多级分区，格式为 name1=value1/name2=value2，。如果指定多...
使用ALS算法实现音乐评分预测（旧版）
因为每个用户不一定听过所有歌，且每个用户不一定对每首歌进行评分，所以该评分矩阵可能是稀疏矩阵，如下图所示。ALS矩阵分解算法会将矩阵A分解为两个矩阵（矩阵X和矩阵Y）相乘。矩阵A=矩阵X*矩阵Y的转秩 矩阵X的列和矩阵Y的行可以称为ALS...
表格存储和传统关系型数据库（例如MySQL、SQL Server...
表格存储是阿里云自研的多模型结构化数据存储，提供海量结构化数据存储以及...相对于传统关系型数据库严格的SCHEMA，表格存储的表是稀疏的，每一行可以有不同的列，可以动态增加或者减少属性列，创建表时无需为表的属性列定义严格的SCHEMA。
列式JSONB
所以如果JSONB数据包含的都是稀疏字段，比如极端情况下每个字段都只会出现一次，那么列式化将不会起效，因为所有字段都是稀疏的，那么所有字段都会合并至 holo.remaining 字段，等于没有进行列式化，这种情况下不会有查询性能的提升。...
特征离散
如果选择的是稀疏特征，则系统会自动筛选。“”labelCol 否 标签字段。如果您设置了该字段，则可以通过可视化方式查看特征到目标变量的 x-y 分布直方图。无 discreteMethod 否 离散方法。取值如下：Isometric Discretization（等距离散）...
Varray
与嵌套表不同，varray 不能是稀疏的-键值的赋值中没有间隙。尝试引用超出其初始化大小或扩展大小，但未超出最大大小限制的 varray 元素将导致 SUBSCRIPT_BEYOND_COUNT 异常。尝试引用超出最大大小限制的 varray 元素或尝试将 varray 扩展到...
百分位
例如对于一组数据的百分位计算结果如下：原始数据 20 10 30 40 50 20 升序排名 3 1 4 5 6 3 升序百分位 40%0%60%80%100%40%降序排名 5 6 3 2 1 5 降序百分位 80%100%40%20%0%80%说明 存在相同的数据时使用的是稀疏并列排序：1，3，3，4，非...
嵌套表
表可能是稀疏的-在键值的赋值中可能存在间隙。尝试引用超出其初始化大小或扩展大小的表元素将导致SUBSCRIPT_BEYOND_COUNT异常。TYPE IS TABLE语句用于在SPL程序的声明部分中定义嵌套表类型。TYPE tbltype IS TABLE OF { datatype|rectype|...
关联数组
数组可能是稀疏的-在键值的赋值中可能存在间隙。尝试引用尚未赋值的数组元素将导致异常。TYPE IS TABLE OF.INDEX BY语句用于定义关联数组类型。TYPE assoctype IS TABLE OF { datatype|rectype|objtype } INDEX BY { BINARY_INTEGER|PLS_...
混合查询最佳实践
对比传统的 文本+向量 多路召回，向量检索版中的稀疏-稠密向量是将稠密向量和稀疏向量嵌入组合为单个向量，而其中的稀疏向量是将文本向量化成稀疏向量，稠密向量是传统的向量。稀疏向量和稠密向量代表不同类型的信息并支持不同类型的搜索。...
基本概念
Sparse Vector（稀疏向量）Sparse Vector（稀疏向量），稀疏向量是指大部分元素为0，仅少量元素非0的向量。在DashVector中，稀疏向量可用来表示词频等信息。例如，{1:0.4,10000:0.6,222222:0.8} 就是一个稀疏向量，其第1、10000、222222位...
关键词感知检索
建立关键词和原始语料的映射关系，常见的方法有倒排索引、TF-IDF、BM25等方法，其中TF-IDF、BM25通常用 稀疏向量（Sparse Vector）来表示词频。检索时，对检索语句进行关键词抽取，并通过步骤2中建立的映射关系召回关联度最高的TopK原始...
通过Elasticsearch机器学习实现业务数据的智能检测和...
选取字段 Count(Event rate)，配置存储桶跨度和稀疏数据后，单击 下一步。说明 Count(Event rate)作为单指标视图的指标可以很好地反映出服务器在每秒内响应请求的次数，可以作为异常检测的目标。存储桶跨度：用于将时间序列数据分成不同的...
组件参考：所有组件汇总
one-hot编码 您可以通过该组件后数据会变成稀疏，输出结果也是KV的稀疏结构。统计分析 数据视图 通过数据视图组件，您可以可视化地了解特征与标签列的分布情况及特征的特点，以便后续进行数据分析。协方差 该组件用于衡量两个变量的总体...
Dataphin汇总逻辑表可以查询到数据，但是count统计为0
问题原因 汇总表是一张稀疏表，查询主键的时候需要和具体的派生指标一起查询才有意义，如果单独查询主键，dataphin会随机选择一张物化表查询主键，刚好那张物化表是空的。解决方案 通过嵌套子查询的方式进行count统计，子查询里面有查询了...
滤波
功能说明 滤波组件支持8种方式进行数据滤波，包括限幅滤波，中值滤波，滑动平均滤波，一阶滞后滤波，FIR滤波，最大值滤波，最小值滤波以及趋势线拟合滤波。计算逻辑原理 以下计算公式涉及的参数定义：①t表示本次，t-1表示前一次。②X(t)...
数据滤波
是 滑动平均滤波 限幅滤波 中值滤波 滑动平均滤波 一阶滞后滤波 FIR滤波 最大值滤波 最小值滤波 限幅滤波 参数名 参数描述 是否必填 参数默认值 参数范围 滤波有效值 限幅滤波有效值的选择方法。前一次输出值：使用前一次滤波输出值作为...
ALS评分
交替最小二乘ALS（Alternating Least Squares）算法的原理是对稀疏矩阵进行模型分解，评估缺失项的值，从而得到基本的训练模型。在协同过滤分类方面，ALS算法属于User-Item CF（Collaborative Filtering），兼顾 User 和 Item 项，也称为...
ALS矩阵分解
交替最小二乘ALS（Alternating Least Squares）算法的原理是对稀疏矩阵进行模型分解，评估缺失项的值，从而得到基本的训练模型。在协同过滤分类方面，ALS算法属于User-Item CF（Collaborative Filtering），兼顾 User 和 Item 项，也称为...
ID-Mapping在游戏领域的解决方案
csg_id column value 0 user_id user1 0 device_id device1 0 oaid oaid1 1 user_id user2 1 device_id device2 ID-Mapping的本质是将稀疏的信息通过实体之间的关系汇集起来，是ID类数据加工的最重要的基础工作之一，ID-Mapping在企业中...
平滑函数
平滑函数是针对输入的时序曲线进行平滑和简单的滤波操作，滤波操作通常是发现时序曲线形态的第一步。函数列表 函数 说明 ts_smooth_simple 默认平滑函数，使用Holt-Winters算法对时序数据进行滤波操作。ts_smooth_fir 使用FIR滤波器对时序...
过滤式特征选择
根据您使用的不同特征选择方法，从所有稀疏或稠密格式的特征数据中选择并过滤出TopN的特征数据，同时保存为特征重要性表，实现了降低模型训练的难度和提高训练模型的精确度。本文为您介绍 Designer 提供的过滤式特征选择组件的参数配置和...
one-hot编码
因此，经过独热编码后数据会变成稀疏的，输出结果也是KV的稀疏结构。功能介绍 one-hot编码组件包括训练和预测功能：one-hot编码组件训练功能：输入节点：该组件第一个输入节点（左）是训练数据的输入，训练时无需设置输入节点（右）。输出...
离线预测通用说明
预测组件可以使用PAI-EasyVision训练出的模型进行离线预测。本文介绍离线预测通用的输入数据格式及PAI命令参数。概述 PAI-EasyVision支持读取MaxCompute表数据并将结果写...取值范围如下：true：打开稀疏集群 false：关闭稀疏集群 BOOL false
新功能发布记录
03-30 WAL日志管理 新增 稀疏备份 RDS新增支持稀疏备份功能，您可更灵活地设置备份策略并保留最少的备份集。该功能在有效缩短备份集恢复时间的同时，降低了备份集存储成本。03-22 RDS PostgreSQL稀疏备份 优化 变更配置 RDS PostgreSQL实例...
Mixtral-8x7B稀疏大模型最佳实践
本方案旨在帮助大模型开发者快速上手灵骏智算平台，实现稀疏大语言模型Mixtral的高效分布式训练、三阶段指令微调、模型离线推理和在线服务部署等完整的开发流程。以Mixtral-8x7B模型为例，为您详细介绍该方案的开发流程。前提条件 本方案以...
数据探索函数
本示例中设置横向距离为10，以输入数据的第一个极大值点为参考，横向距离为10以内的极大值点会被忽略，因此设置distance参数后的极大值更稀疏，对这些极大值出现时刻的设备数据进行分析会更有价值。SELECT FIND_PEAKS('{"distance":10}',1,...
Tair小版本发布日志
为提升用户体验，云原生内存数据库Tair 会不定期地发布小版本，用于丰富云产品功能或修复已知缺陷。您可以参阅本文了解Tair小版本的更新说明。查询或升级实例的小版本 您可以通过控制台查看当前的小版本，具体操作及升级小版本的其注意事项...
混合检索
使用内积时，只返回大于scoreThreshold的结果 默认不过滤 float 否 sort 排序表达式""string 否 SparseData 参数名称 描述 默认值 类型 是否必须 count 每个稀疏向量中包含的元素个数 只有一个稀疏向量时默认为indices长度 list[int]否 ...
索引优化
大数据集场景下优先考虑稀疏索引：如果您的数据量非常地大，并且您的查询限定条件为<、、=、>=、>，需要从大数据量的表中取出少于50%的数据，那么使用稀疏索引（BRIN Index或者AOCS表的metascan）可以极大地减少无效数据的加载。...
PAI-TF数据转换方法
trans_csv_id2sparse Python接口 将标记有效位置的CSV字符串集合转换成为稀疏矩阵。trans_csv_id2sparse(records,max_id,id_as_value=True,field_delim=”,”)输入以下参数：参数 是否必选 描述 records 是 类型STRING数组待解析CSV字符串...
快速开始
DashText，是向量检索服务DashVector推荐使用的稀疏向量编码器（Sparse Vector Encoder），DashText可通过BM25算法将原始文本转换为稀疏向量（Sparse Vector）表达，通过DashText可大幅度简化使用DashVector 关键词感知检索 能力。...
查询数据
本文档介绍如何使用Java异步、Java、Python语言进行向量检索、预测检索、以及包含过滤条件的检索。...Java、Python SDK中都需要配置如下4个必要参数（endpoint、instance_id、access_user_name、access_pass_word）：endpoint：私网/公网域名 ...
逻辑回归二分类
经典逻辑回归是一个二分类算法，支持稀疏及稠密数据格式。组件配置 您可以使用以下任意一种方式，配置逻辑回归二分类组件参数。方式一：可视化方式 在 Designer 工作流页面配置组件参数。页签 参数 描述 字段设置 训练特征列 输入数据源中...
GBDT二分类V2
可视化配置参数 输入桩配置 输入桩（从左到右）限制数据类型 建议上游组件 是否必选 输入数据 无 读数据表 是 组件参数 页签 参数 是否必选 描述 默认值 字段设置 是否为稀疏向量格式 否 输入表中用于训练的特征列是否为稀疏向量格式。...
数据模型
在HBase中，数据存储在具有行和列的表中，这是与关系数据库（RDBMS）类似的模型，但与之不同的是其具备结构松散、多维有序映射的特点，它的索引排序键由行+列+时间戳组成，HBase表可以被看做一个“稀疏的、分布式的、持久的、多维度有序Map...
特征尺度变换
特征尺度变换算法组件支持对稠密或稀疏的数值类特征进行常见的尺度变换。功能介绍 特征尺度变换的功能如下：支持常见的 log2、log10、ln、abs 及 sqrt 等尺度变化函数。支持稠密及稀疏数据格式。组件配置 您可以使用以下任意一种方式，配置...
- 产品推荐
- 这些文档可能帮助您