设置预分区
云数据库HBase自带了三种分隔算法，每个分割算法的适用场景如下描述：HexStringSplit：适用于以十六进制的字符串作为前缀的Rowkey。DecimalStringSplit：适用于以十进制的数字字符串作为前缀的Rowkey。UniformSplit：适用于Rowkey的前缀是...
SQL性能问题
Deduplicate Keep FirstRow 保留首行的去重策略：保留KEY下第一条出现的数据，之后出现该KEY下的数据会被丢弃掉。因为STATE中只存储了KEY数据，所以性能较优，示例如下。SELECT*FROM(SELECT*,ROW_NUMBER()OVER(PARTITION BY b ORDER BY ...
水印使用限制
由于嵌入水印的原理是将水印原子信息嵌入到不同特征的数据中去，因此源数据特征越多，越能嵌入完整的水印信息、提高提取成功率，并且即使缺失部分数据也不影响水印提取。所以对需要嵌入水印的数据有如下要求：待嵌入水印的源数据需要大于...
组件参考：所有组件汇总
hitrate作为结果好坏的评价，hitrate越高表示训练产出的向量去召回向量的结果越准确。异常检测 局部异常因子异常检测 该组件是根据数据样本的局部异常因子值（Local Outlier Factor,LOF）判断样本是否异常。IForest异常检测 该组件使用sub-...
功能说明
} else {/输入帧图片流 engine.updateInputDataAndRunAlg(imageData,/帧图片流 ImageFormat.NV21,/帧图片流格式 imageWidth,/帧图片宽度 imageHeight,/帧图片高度 0,/用于检测的图像的跨度(以像素为单位),即每行的字节数,默认情况下设为 0 ...
Android端集成美颜特效SDK
美颜特效SDK 是由阿里视频云团队提供的美颜特效功能，支持画面美化、人像美颜、抠像制作、贴纸美妆、动作识别、美体、美发、AR隔空写字等各种个性化定制服务，适用于视频直播、视频会议、短视频制作等场景。本文为您介绍Android端 美颜特效...
SSL-VPN连接常见问题
SSL-VPN连接为什么未使用指定的加密算法进行数据加密?客户端连接失败怎么办？产生当前问题的可能原因及解决方案请参见下表。原因分类 原因 解决方案 配置错误 SSL服务端或客户端配置错误。请排查阿里云侧SSL服务端 本地网段 的配置，确保...
视频个性化推荐（协同过滤）
本案例将 以视频社交平台的'猜你喜欢'和'详情页相关推荐'为例，通过推荐算法为用户呈现最符合其兴趣的视频内容为背景，为您介绍在DataWorks中如何使用阿里云PAI的协同过滤算法 挖掘深层次的数据关联性，实现视频的个性化推荐。背景信息 ...
出错提示“OpenSSH configured to use removed ...
在Ciphers配置的行中去除已经不再支持的加密算法 blowfish-cbc、cast128-cbc、arcfour、arcfour128 和 arcfour256 或注释Ciphers配置行。在MACs配置的行中去除已经不再支持的消息认证码 hmac-ripemd160 或注释MACs配置行。按 Esc 退出编辑...
AUTO模式数据库与DRDS模式数据库
本文介绍了什么是AUTO模式数据库与DRDS模式数据库，以及这两者模式的区别。PolarDB-X数据库模式概述 从 PolarDB-X 5.4.13版本开始，新增支持AUTO模式的数据库（也称为自动分区数据库）。AUTO模式的数据库支持自动分区，即创建表时无需指定...
APPROX_COUNT_DISTINCT
语法 APPROX_COUNT_DISTINCT 函数用于计算某一列去重后的行数，结果只能返回一个值，并且该值为近似值。APPROX_COUNT_DISTINCT()参数说明如下表所示。参数 描述 column 需要近似计算去重后行数的列。APPROX_COUNT_DISTINCT 采用HyperLogLog...
数据采样
否 按行数 按行数 按比例 随机采样-按行数、固定区域采样-按行数 参数名 参数描述 是否必填 参数默认值 参数范围 采样行数 采样原始数据的行数（该值需小于等于原始数据总行数）。否 1[0,99999999]随机采样-按比例、固定区域采样-按比例、...
合并行（UNION）
合并行（UNION）算法组件是将两张表的数据按行合并，左表及右表选择输出的字段个数以及类型应保持一致。整合了UNION和UNION ALL的功能。Designer 仅支持通过可视化方式进行数据合并。参数 描述 左表输出列 进行联合操作时，左右表选择的列...
视频分类训练
标签文件每行的存储格式为 视频文件名 标签，元素之间使用空格分隔，若标签文件中包含文本，每行的存储格式为 视频文件名\t文本\t标签，元素之间使用\t分隔 无 评估数据文件oss路径 否 如果没有通过输入桩配置算法组件的评估数据，...
配置路由算法
本文介绍路由算法配置的格式，及如何为逻辑表配置路由算法。背景信息 路由算法是减少路由时开销的一种算法，逻辑表配置了路由算法后，带路由字段则可以快速查询指定物理表，免去人为计算、切换物理库表的操作。路由算法的更多信息，请参见 ...
ListMembers-获取工作空间的成员列表
1 PageSize integer 否 分页查询时设置的每页行数。默认为20。20 Roles string 否 使用角色过滤成员，多个角色以半角逗号（,）分隔。支持以下角色名：PAI.AlgoDeveloper：算法开发。PAI.AlgoOperator：算法运维。PAI.LabelManager：标注...
如何通过图算法能力获取OneID高质量人
（一）背景 对于几乎所有的互联网企业，对于识别、追踪用户身份都有强烈的需求，精准识别用户身份后，就可以收集用户个性化的行为、身份数据，比如用户浏览了什么商品，看了什么视频，去了哪个餐厅等等，从而可以对搜索，广告，推荐等等...
列存索引中GroupJoin算子的实现
解关联子查询的算法中使用GroupJoin 在解决“关联项上方有 GROUP BY”这种关联子查询时，有一种方式是引入“MagicSet”操作（也就是 table distinct）并在上方增加一个JOIN+GROUP BY，从而完成子查询的去关联。这种模样的执行计划，恰好...
Contextual Bandit 算法
赌徒要去摇老虎机，走进赌场一看，一排老虎机，外表一模一样，但是每个老虎机吐钱的概率可不一样，他不知道每个老虎机吐钱的概率分布是什么，那么每次该选择哪个老虎机可以做到最大化收益呢？这就是多臂赌博机问题（Multi-armed bandit ...
使用方法
LE-V-B004型号边缘一体机已部署了算法应用，算法应用相关说明，请参见 算法应用。说明 若未部署算法应用，请联系您购买边缘一体机的业务接口人进行部署。已准备ONVIF协议的IPC设备，并将该设备接入到LE-V-B004型号边缘一体机，详细操作，请...
停用词过滤
本文为您介绍 Designer 提供的停用词过滤算法组件。停用词过滤算法组件是文本分析中的一个预处理方法，用于过滤分词结果中的噪声（例如的、是或啊）。停用词过滤算法组件的两个输入桩为输入表和停用词表。输入表为需要过滤停用词的表。停用...
DescribeAlgoLibs
调用DescribeAlgoLibs获取已创建的算法库信息。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否必选 示例值 描述 Action String 是...
什么是推荐全链路深度定制开发平台PAI-REC
除此之外，如果企业推荐算法、工程团队建设相对年轻，我们建议对接初期，采用阿里算法团队基于行业定制的算法模型来启动服务，一方面可辅助企业在短期内完成完整推荐系统的部署，另一方面可助力企业开发者快速上手、自主完成模型训练、效果...
高性能Flink SQL优化技巧
Deduplicate Keep FirstRow 保留首行的去重策略：保留KEY下第一条出现的数据，之后出现该KEY下的数据会被丢弃掉。因为STATE中只存储了KEY数据，所以性能较优，示例如下。SELECT*FROM(SELECT*,ROW_NUMBER()OVER(PARTITION BY b ORDER BY ...
PS-SMART回归
参数服务器PS（Parameter Server）致力于解决大规模的离线及在线训练任务，SMART（Scalable Multiple Additive Regression Tree）是GBDT（Gradient Boosting Decision Tree）基于PS实现的迭代算法。PS-SMART支持百亿样本及几十万特征的训练...
图像分类训练（torch）
算法简介 图像分类训练（torch）组件提供了CNN和Transformer两大类主流模型，支持ResNet、ResNeXt、HRNet、ViT、SwinT、MobileNetv2算法，并提供了基于ImageNet预训练的模型，方便您进行模型调整。图像分类训练（torch）组件位于组件库 ...
数据对接期
数据对接期 1、什么是场景ID，该如何进行埋点，如何在查询中使用，行为表和内容表场景ID是否需要对应，有什么作用？举例1.1内容表(item)中有一个itemA，其item_id为1，场景ID字段值为：1001,1002行为表(behavior)中有两条行为，分别为item_...
数据脱敏
背景信息 数据脱敏是指对某些敏感信息，例如姓名、身份证号码、手机号、固定电话、银行卡号、邮箱等个人信息，通过脱敏算法进行数据变形，以保护敏感隐私数据。概念介绍 数据脱敏：在数据处理和数据存储过程中，通过一定的算法和技术，将...
常见问题
行（row）影响seek阶段，行越多，每行检索的query变少，单行检索速度提升，加速seek阶段，同样使用的集群机器资源变多。因此对于行列的划分需要考虑以下限制：默认集群的资源限制。需要联系用户所在MaxCompute Project对应的Project Owner...
部署架构
图一：个性化算法开发平台TPP架构图 网络图 TPP方案代码访问用户的召回&排序服务 弹性网卡（ENI）是一种可以附加到专有网络（VPC）类型ECS实例上的虚拟网卡，多网卡的具体描述见：https://help.aliyun.com/document_detail/58496.html 。...
PS-SMART多分类
参数服务器PS（Parameter Server）致力于解决大规模的离线及在线训练任务，SMART（Scalable Multiple Additive Regression Tree）是GBDT（Gradient Boosting Decision Tree）基于PS实现的迭代算法。PS-SMART支持百亿样本及几十万特征的训练...
随机森林
例如，在一个拥有5棵树的森林中，如果[2,4]表示0，则 1 为ID3算法，2,3 为CART算法，4 为C4.5算法。如果输入 None，则算法在森林中均分。单棵树随机特征数 取值范围为[1,N]，N表示Feature数量。叶节点数据的最小个数 取值范围为正整数，...
下载美颜特效SDK
新增功能：祛皱、去暗沉美颜效果，卧蚕美妆效果。新增及优化功能：修复解决Android4.2的兼容支持问题。2021-07-09 V1.2.0 新增功能：实景抠像。新增节能模式，支持低端机的效果处理。新增及优化功能：修复Android 11的崩溃问题。2021-06-11...
Quick Audience数据集样例
购买类型的行为数据条数≥100万，时间跨度≥2×365天，对应的去重后的用户数≥50万且≤300万。不支持0复购场景，即任意日期开始的过去365天内发生过购买行为的用户中，需要有用户在接下去的预测周期内发生过复购。对于货品推荐，若需要通过...
Beam概述（公测）
Beam自研存储引擎采用统一的存储设计（行存Detla和PAX结构的列存Base），既能够承载OLTP的高并发读写负载，也能够应对OLAP的批量写入和大量扫描场景。Beam是 AnalyticDB PostgreSQL版 基于PostgreSQL 12的Table Access Method开发的下一代...
部署及微调Qwen-72B-Chat模型
通过PAI Python SDK使用模型 PAI-QuickStart提供的预训练模型也支持通过 PAI Python SDK 进行调用，首先需要安装和配置PAI Python SDK，您可以在命令行执行以下代码：#安装PAI Python SDK python-m pip install alipai-upgrade#交互式得...
SubmitIProductionJob-提交智能生产作业
取值：VideoH2V：视频横转竖 VideoDelogo：视频去图标 Cover：智能封面 VideoClip：视频摘要 ImageH2V：横转竖 ImageDelogo：图片去图标 CaptionExtraction：字幕提取（算法输入待处理视频的 URL，输出提取的字幕文件）VideoDetext：视频去...
安全联邦学习-工作流FL
一、什么是安全联邦学习-工作流模式 功能介绍：通过工作流的模式，在原始数据不出域的前提下，通过交换各个参与方的算法训练的中间结果梯度、参数信息，或完全在密文条件下进行计算，从而发挥参与多方数据样本更丰富、更全面的优势，得出更...
PS-SMART二分类训练
参数服务器PS（Parameter Server）致力于解决大规模的离线及在线训练任务，SMART（Scalable Multiple Additive Regression Tree）是GBDT（Gradient Boosting Decision Tree）基于PS实现的迭代算法。PS-SMART支持百亿样本及几十万特征的训练...
纠删码
它能通过一定的算法将k个原始数据块计算出m个冗余数据块，只要在这 k+m 个数据块中选择任意k个数据块就能计算得到所有的原始数据。当 k=4，m=2 时，在存储效率上等价于1.5副本，并可以允许最多2个数据块损坏。因此纠删码相比于多副本，可以...
- 产品推荐
- 这些文档可能帮助您