LLM-特殊字符占比过滤(MaxCompute)

LLM-特殊字符占比过滤组件主要用于大语言模型(LLM)的文本数据预处理工作,根据特殊字符占比过滤样本,保留特殊字符个数占文本总长度比例在指定范围内的样本。使用限制 仅支持MaxCompute计算引擎。算法简介 遍历文本中的每个字符,并统计...

UTL_URL

UTL_URL包提供转换URL中的非法字符和保留字符的方法。表 1.HTTP函数和存储过程 函数/存储过程 返回类型 说明 ESCAPE(url,escape reserved chars,url_charset)VARCHAR2 使用 ESCAPE 函数转换URL中的非法字符和保留字符。UNESCAPE(url,url ...

函数概述

地理空间函数:地理空间函数 JSON函数:JSON函数 数学函数:数学函数 手机号码函数:手机号码函数 事件路径分析函数:事件路径分析函数支持按照事件时间和时间戳得到事件顺序发生的时间序列 SQL分析函数:SQL分析函数 字符函数:...

函数功能发布记录

HQE 字符函数 数组函数 1.3.1 字符函数 row_to_json row()新增函数 新增部分字符函数 HQE 字符函数 1.3.1 PostGIS空间函数 Geometry Constructors Geometry Accessors Geometry Editors Spatial Reference System Geometry Input ...

常规函数

字典函数 距离函数 距离函数 内置字典函数 内置字典函数 地理空间函数 地理空间函数 编码函数 编码函数 加密函数 加密函数 文件函数 文件函数 哈希函数 哈希函数 IN函数 IN函数 地址函数 地址函数 元数据函数 元数据函数 JSON函数 JSON函数...

TO_JSON

将给定的复杂类型 expr,以...相关函数 TO_JSON函数属于复杂类型函数字符函数。更多对复杂类型数据(例如ARRAY、MAP、STRUCT、JSON数据)的处理函数请参见 复杂类型函数。更多查找字符串、转换字符串格式的相关函数请参见 字符函数

使用内建函数

函数列表中包括以下几种类型:日期与时间函数 数学函数 窗口函数 聚合函数 字符函数 复杂类型函数 加密函数 其他函数 除此之外,您也可以在ODPS SQL节点中使用以下命令查看内建函数。show builtin functions[];为指定的内建函数名称。...

SOUNDEX

str 值为NULL时或者不识别的特殊字符时,返回NULL。使用示例 示例1:将字符串 hello 转换为SOUNDEX字符串。命令示例如下。返回H400。select soundex('hello');示例2:输入参数为NULL。命令示例如下。返回NULL。select soundex(null);相关...

系统函数分类

字符函数 处理字符串类型数据,实现截取字符串、替换字符串、拼接字符串、查找字符串、大小写转换等业务处理能力。数学函数 处理整数、小数等数值类型数据,实现数学的运算、四舍五入等业务处理能力。身份证加工函数 处理身份证号数据,...

字符函数

本文介绍字符函数的语法规则,包括参数解释、函数示例等。函数列表 类型 函数 说明 多字符串操作 str_format 按照指定格式对字符串进行格式化。str_join 通过连接符将输入的字符串连接,生成一个新的字符串。str_zip 将两个值或表达式的...

字符函数和操作符

本节描述了用于检查和操作字符串值的函数和操作符。在这个环境中的串包括所有类型 character、character varying 和 text 的值。除非特别说明,这些函数和操作符声明为接受并返回 text 类型。他们将互换接受 character varying 参数。在...

内置模板函数

格式化函数 函数 说明 过滤器 示例 escape_markdown(value)转义特殊的Markdown字符。支持 {{ escape_markdown("_a_*b*#c")}} 的结果为&95;95;a&95;95;42;42;b&42;42;35;c。escape_html(value)转义特殊的HTML字符。支持 {{ escape_html(...

规则表达式

数字孪生节点的孪生规则中支持多种运算符和函数,您可在编辑孪生规则时使用运算符和函数,实现数据处理的多样化。运算符 运算符优先级依次递减顺序为:()、[]、.数学函数 以下函数表达式中的入参 n、n1 ...

SPACE

生成空格字符串,长度为 n。命令格式 string space(bigint)参数说明 n:必填。BIGINT类型。长度不超过2 MB。返回值说明 返回STRING类型。...相关函数 SPACE函数属于字符函数,更多查找字符串、转换字符串格式的相关函数请参见 字符函数

INITCAP

返回固定格式的字符串,单词之间以空格分隔,转换后的格式为:字符串中每个单词首字母大写,其余小写。命令格式 string initcap()参数...相关函数 INITCAP函数属于字符函数,更多查找字符串、转换字符串格式的相关函数请参见 字符函数

字符函数

本视频向您展示数据加工非结构化数据解析时字符函数的使用。

JSON与XML解析库

property_parse JSON 与 XML 解析函数,主要用来解析 JSON 格式。函数原型 property_parse(string property_value,int property_type)returns(uint result);请求参数 参数 必选 类型 说明 property_value 是 string JSON 格式数据 property...

ASCII

返回字符串 str 第一个字符的ASCII码。命令格式 bigint ascii(string)参数说明 str:必填。STRING类型。如果输入为BIGINT、DOUBLE、...相关函数 ASCII函数属于字符函数,更多查找字符串、转换字符串格式的相关函数请参见 字符函数

LENGTHB

计算字符串 str 以字节为单位的长度。命令格式 bigint lengthb(string)参数说明 str:必填。STRING类型。如果输入为BIGINT、DOUBLE、...相关函数 LENGTHB函数属于字符函数,更多查找字符串、转换字符串格式的相关函数请参见 字符函数

LENGTH

计算字符串 str 的长度。命令格式 bigint length(string)参数说明 str:必填。STRING类型。如果输入为BIGINT、DOUBLE、DECIMAL或DATETIME...相关函数 LENGTH函数属于字符函数,更多查找字符串、转换字符串格式的相关函数请参见 字符函数

TOUPPER

字符串 source 中的小写字符转换为对应的大写字符。命令格式 string toupper(string)参数说明 source:必填。STRING类型。...相关函数 TOUPPER函数属于字符函数,更多查找字符串、转换字符串格式的相关函数请参见 字符函数

TOLOWER

字符串 source 中的大写字符转换为对应的小写字符。命令格式 string tolower(string)参数说明 source:必填。STRING类型。...相关函数 TOLOWER函数属于字符函数,更多查找字符串、转换字符串格式的相关函数请参见 字符函数

MD5

计算字符串 str 的MD5值。命令格式 string md5(string)参数说明 str:必填。STRING类型。如果输入为BIGINT、DOUBLE、DECIMAL或DATETIME类型...相关函数 MD5函数属于字符函数,更多查找字符串、转换字符串格式的相关函数请参见 字符函数

2021年

2021-08-31 全部地域 复杂类型函数 日期与时间函数 字符函数 数学函数 其他函数 MaxCompute SQL UPDATE、DELETE和MERGE INTO功能商业化 自2021年8月10日起,MaxCompute SQL的UPDATE、DELETE和MERGE INTO功能结束免费公测,开始正式计费。...

CHAR_MATCHCOUNT

MaxCompute CHAR_MATCHCOUNT函数用于计算两个字符串之间相同字符的个数。本文为您介绍CHAR_MATCHCOUNT函数的命令格式、参数说明以及使用示例。命令格式 bigint char_matchcount(string,string)参数说明 str1、str2:必填。STRING类型,必须...

Fn:Jq

调用内部函数Fn:Jq,支持Jq功能,获取满足过滤条件后的JSON字符串。函数声明 JSON {"Fn:Jq":[method,script,object]} YAML 完整函数的语法。Fn:Jq:method,script,object 缩写形式。Jq[method,script,object]参数信息 method:必选,字符串...

REPEAT

返回将 str 重复 n 次后的字符串。命令格式 string repeat(string,bigint)参数说明 str:必填。STRING类型。如果输入为BIGINT、DOUBLE、...相关函数 REPEAT函数属于字符函数,更多查找字符串、转换字符串格式的相关函数请参见 字符函数

CHR

将指定ASCII码转换为字符。命令格式 string chr(bigint)参数说明 ascii:必填。BIGINT类型的ASCII值。取值范围为0~128。...相关函数 CHR函数属于字符函数,更多查找字符串、转换字符串格式的相关函数请参见 字符函数

TRANSLATE

将 str1 出现在 str2 中的每个字符替换成 str3 中相对应的字符。无匹配则不替换。此函数为MaxCompute 2.0扩展函数。...相关函数 TRANSLATE函数属于字符函数,更多查找字符串、转换字符串格式的相关函数请参见 字符函数

REVERSE

返回倒序字符串或数组。命令格式 string|array reverse(string|array)参数说明 value:必填。STRING或ARRAY类型。如果输入为BIGINT、...相关函数 REVERSE函数属于字符函数,更多查找字符串、转换字符串格式的相关函数请参见 字符函数

LOCATE

在 str 中查找 substr 的位置。您可以通过 start_pos 指定开始查找的位置,从1开始计数。命令格式 bigint locate(string,string[,bigint]...相关函数 LOCATE函数属于字符函数,更多查找字符串、转换字符串格式的相关函数请参见 字符函数

ENCODE

将 str 按照 charset 格式进行编码。命令格式 binary encode(string,string)参数说明 str:必填。STRING类型。待重新编码的字符串。...相关函数 ENCODE函数属于字符函数,更多查找字符串、转换字符串格式的相关函数请参见 字符函数

SUBSTRING_INDEX

截取字符串 str 第 count 个分隔符之前的字符串。如果 count 为正,则从左边开始截取。如果 count 为负,则从右边开始截取。...相关函数 SUBSTRING_INDEX函数属于字符函数,更多查找字符串、转换字符串格式的相关函数请参见 字符函数

FIND_IN_SET

查找字符串 str1 在以逗号(,)分隔的字符串 str2 中的位置,从1开始计数。命令格式 bigint find_in_set(string,string)参数说明 ...相关函数 FIND_IN_SET函数属于字符函数,更多查找字符串、转换字符串格式的相关函数请参见 字符函数

MASK_HASH

返回基于字符串表达式(expr)计算的Hash值。Hash值相同证明表达式的值相同。命令格式 mask_hash()参数说明 ...返回+-+|_c0|+-+|NULL|+-+相关函数 MASK_HASH函数属于字符函数,更多查找字符串、转换字符串格式的相关函数请参见 字符函数

URL_ENCODE

字符串编码为 application/x-www-form-urlencoded MIME 格式。命令格式 string url_encode(string[,string])命令说明 将输入字符串...相关函数 URL_ENCODE函数属于字符函数,更多查找字符串、转换字符串格式的相关函数请参见 字符函数

URL_DECODE

字符串从 application/x-www-form-urlencoded MIME 格式转为常规字符。命令格式 string url_decode(string[,string])命令说明 将...相关函数 URL_DECODE函数属于字符函数,更多查找字符串、转换字符串格式的相关函数请参见 字符函数

IS_ENCODING

判断输入的字符串 str 是否可以从指定的一个字符集 from_encoding 转为另一个字符集 to_encoding。也可以用于判断输入是否为乱码,...相关函数 IS_ENCODING函数属于字符函数,更多查找字符串、转换字符串格式的相关函数请参见 字符函数

LTRIM

从 str 的左端去除字符。注意事项 从 str 的左端去除字符:如果未指定 trimChars,则默认去除空格字符。如果指定了 trimChars,则以 ...相关函数 LTRIM函数属于字符函数,更多查找字符串、转换字符串格式的相关函数请参见 字符函数

RTRIM

去除字符串的右端字符。注意事项 当前仅英文字符串支持 RTRIM 去除字符命令。命令格式 string rtrim(string[,])string trim(trailing[]...相关函数 RTRIM函数属于字符函数,更多查找字符串、转换字符串格式的相关函数请参见 字符函数
共有200条 < 1 2 3 4 ... 200 >
跳转至: GO
产品推荐
云服务器 安全管家服务 安全中心
这些文档可能帮助您
云工作流 函数计算(旧版) 机器翻译 弹性公网IP 短信服务 人工智能平台 PAI
新人特惠 爆款特惠 最新活动 免费试用