用户价值
数据资源平台为用户提供了一站式数据资产定义、生产、管理与服务平台，提供企业级...自主挖掘数据的业务价值：通过画像分析、业务模型编辑器，从业务视角更直观地探索数据，更高效的从数据中获取业务价值，并不断丰富客户的标签等数据资产。
（邀测）MaxCompute Notebook使用说明
支持用户通过SQL、PyODPS、Python等进行数据分析、探索，挖掘数据的价值，完成大数据与AI的融合应用开发。本文为您介绍如何使用Notebook功能。版本说明 当前MaxCompute Notebook功能处于邀测阶段，每个租户最多可启动3个Notebook实例，每个...
数据科学计算概述
Scikit-Learn：用于数据分析和数据挖掘任务的算法。为满足用户基于MaxCompute进行大规模数据处理、分析、挖掘及模型训练的需求，MaxCompute提供了一套Python开发生态，让用户通过统一的Python编程接口一站式、高效地完成数据处理、加工及...
MaxFrame概述
处理数据量大、处理逻辑复杂，需要基于MaxCompute海量数据及弹性计算资源、MaxFrame分布式能力进行大规模数据分析、处理及数据挖掘，提高开发效率。面向Data+AI开发，需要依赖第三方或自定义镜像完成数据开发、模型开发等整体流程。支持的...
2023年
支持用户通过SQL、PyODPS、Python等进行数据分析、探索，挖掘数据的价值，完成大数据与AI的融合应用开发。本文为您介绍如何使用Notebook功能。（邀测）MaxCompute Notebook使用说明 2023-09-12 新增在本地环境上使用PyODPS 新说明 PyODPS是...
语义挖掘工具
【分析结果】数据总量：表示进行语义挖掘的数据总量 命中意图：表示进行语义挖掘时命中的意图的数量 命中条数：表示进行语义挖掘时有效命中意图数据的全部数量 未命中条数：表示进行语义挖掘时无法有效命中意图数据的全部数量【命中意图】...
数据管理DMS的数据追踪功能无法追踪到数据
本文解释数据管理DMS的数据追踪功能无法追踪到数据的原因及解决方案。问题描述 数据管理DMS的数据追踪功能无法追踪到数据。问题原因 数据追踪的筛选条件可能选择错误。解决方案 请参考下列步骤进行排查：请检查时间和区域的选择是否正确。...
备份集查询功能概览
DBS备份数据查询功能，可以在不恢复备份数据的情况下，直接查询云存储中备份集的数据。背景信息 传统的备份数据查询有两种方式：将备份数据文件导入至数据库，再通过数据库操作对数据进行查询，但是这种方式耗费时间长，且可能会导致数据...
新功能试用申请
支持用户通过SQL、PyODPS、Python等进行数据分析、探索，挖掘数据的价值，完成大数据与AI的融合应用开发。功能说明和使用请参见（邀测）MaxCompute Notebook使用说明。2023年7月 Transaction Table2.0 MaxCompute推出Transaction Table2.0...
SQL结果集导出
该实例下的数据库包含您待导出的数据。录入实例的具体操作，请参见 云数据库录入、他云/自建数据库录入。注意事项 SQL结果集导出功能在免费导出数据的行数、单次导出表容量等方面受限于管控模式。更多信息，请参见 各管控模式支持的功能。...
某历史养成类游戏开发公司实时计算和数据仓库方案
随着业务快速发展，用户行为日志快速增长，需要从海量的点击流日志和激活日志中挖掘数据的价值，比如广告转化率、激活率，每安装用户成本等等。原来使用Greenplum做实时计算和统计分析。但是Greenplum存在以下缺陷，难以应对业务的快速发展...
通过数据同步功能同步Kafka至湖仓版（推荐）
注意事项 Kafka中创建的Topic数据超过一定的时间会被自动清理，如果Topic数据过期，同时数据同步任务失败，重新启动同步任务时读取不到被清理掉的数据，会有丢失数据的风险。因此请适当调大Topic数据的生命周期，并在数据同步任务失败时...
数据水印
影响行数（必选）预估本次导出会影响的数据行数，您可以在SQLConsole中使用 count 命令进行统计。说明 在预检查阶段，系统将会显示实际影响行数，您可以再次校验是否符合预期，及时发现异常，避免发生数据安全事故。跳过校验（可选）是否跳...
管理导入任务
max-filter-ratio：导入任务的最大容忍率，即导入任务能够容忍的因数据不规范等原因而过滤掉的数据行所占的最大比例。jobDetails 导入任务的详细信息，包括任务数量、文件数量和大小、数据量、行数等。errorMessage 导入任务的失败原因。当...
配置Hologres输入组件
输入过滤 配置Hologres输入组件读取数据时需要过滤掉的数据。例如，ID>112。输出字段 输出字段区域展示了已选中表的所有字段。如果不需要将某些字段输出至下游组件，则您可以删除对应的字段：如果需要删除少量的字段，则可以单击 操作 列下...
配置Hologres输入组件
输入过滤 配置Hologres输入组件读取数据时需要过滤掉的数据。例如，ID>112。输出字段 输出字段区域展示了已选中表的所有字段。如果不需要将某些字段输出至下游组件，则您可以删除对应的字段：如果需要删除少量的字段，则可以单击 操作 列下...
数据库导出
当您需要进行数据库备份、导出数据库表进行数据分析等操作，您可使用 数据管理DMS 的数据导出功能，该功能可通过提交工单的方式导出数据库。前提条件 数据库类型如下：MySQL系列：自建MySQL、RDS MySQL、PolarDB MySQL版、AnalyticDB ...
应用场景
金融风控 传统的金融风控模型，能够汇集各个数据源的属性特征信息，但是比较难挖掘数据源之间的深度关联关系。要深度并且快速的挖掘海量数据的关联特征，使用传统的方法则会面临非常大的技术挑战。通过图表示学习技术，提取知识图谱中的...
视频个性化推荐（协同过滤）
本案例将 以视频社交平台的'猜你喜欢'和'详情页相关推荐'为例，通过推荐算法为用户呈现最符合其兴趣的视频内容为背景，为您介绍在DataWorks中如何使用阿里云PAI的协同过滤算法 挖掘深层次的数据关联性，实现视频的个性化推荐。背景信息 ...
新建注册上挂指标
您可以将物理表中的指标字段上挂至汇总逻辑表进行数据分析。...参数 描述 数据类型 选择上挂指标的数据类型。度量单位 选择上挂指标的度量单位。业务负责人 选择上挂指标的业务负责人。描述 填写对上挂指标的简单描述。配置完成后单击 确定。
新建注册上挂指标
您可以将物理表中的指标字段上挂至汇总逻辑表进行数据分析。...参数 描述 数据类型 选择上挂指标的数据类型。度量单位 选择上挂指标的度量单位。业务负责人 选择上挂指标的业务负责人。描述 填写对上挂指标的简单描述。配置完成后单击 确定。
敏感数据溯源
背景信息 通过DataWorks的 数据保护伞 的 数据脱敏管理，开启目标 数据识别规则 的 数据水印 功能后，则在DataWorks中，对命中该规则的数据所执行的所有操作（例如查询、下载等）均会自动生成水印信息。水印信息用于记录用户的访问行为，...
如何处理Tair集群数据倾斜
当用户写入或更新数据时，客户端会通过CRC算法计算出Key所属的Slot，具体公式为 Slot=CRC16(key)%16384，并将数据写入Slot所属的数据分片节点。通常情况下，各数据分片节点的Key数量是均匀分布的，同时内存使用率、CPU使用率等性能指标也是...
如何处理Redis集群数据倾斜
当用户写入或更新数据时，客户端会通过CRC算法计算出Key所属的Slot，具体公式为 Slot=CRC16(key)%16384，并将数据写入Slot所属的数据分片节点。通常情况下，各数据分片节点的Key数量是均匀分布的，同时内存使用率、CPU使用率等性能指标也是...
数据倾斜诊断
您也可以添加过滤条件，查看指定Schema或指定表的数据倾斜情况，查询语句如下：查看指定Schema下所有表的数据倾斜情况：SELECT*FROM adbpg_toolkit.diag_skew_tables WHERE schema_name='名称>';查看指定表的数据倾斜情况：SELECT*FROM ...
产品概述
具有自动化的数据洞察、智能生成可视化作品和灵活高效的数据协同等特点，详情请参见 什么是DataV-Card可视分析创作间。子产品相关链接 DataV-Board 数据看板 产品简介 产品计费 DataV-TwinFabric 孪生仿真 产品简介 DataV-Atlas 可视分析...
车辆数据分析和价值挖掘
本文以一个摩托车数字化场景下设备运营分析的真实需求为背景，介绍如何使用物联网平台的数据服务完成对设备数据的深度业务分析，以实现更多用户的摩托车增值价值。背景信息 企业数字化进程如火如荼，更多传统企业拥抱数字化改造，期望从...
配置管理
提交数据变更时的原因分类。示例以及详情请参见 附录：数据变更原因分类。数据变更的执行方式 取值：COMMITOR：表示审批通过后由提交者执行。AUTO：表示审批通过后自动执行。LAST_AUDITOR：表示由最后一个审批人执行。审批流的审批节点是否...
友盟数据分析
U-DOP数据开放平台不仅仅为您提供了U-App的统计明细数据，同时包含了多主题的分析模板和可订阅的数据包，通过任务引导式教您深度挖掘数据中的业务信息。您可以通过阿里云数据湖分析DLA的数据订阅功能对原始明细log数据进行查询和分析。开通...
导入数据
原因类别 根据实际情况选择数据导入的原因。业务背景 详细填写本次操作的业务背景，减少沟通成本。执行方式 根据需求，选择工单执行方式：审批通过后，提交者执行。审批通过后，自动执行。最后一个审批人执行。文件编码 选择数据库的文件...
数据建模：智能数据建模
适用场景 DataWorks智能建模可助力企业构建自身建模能力，挖掘企业的数据资产价值，例如：海量数据的标准化管理 企业业务越庞大数据结构就越复杂，企业数据量会随着企业业务的快速发展而迅速增长，如何结构化有序地管理和存储数据是每个...
普通数据变更
数据管理DMS的普通数据变更功能支持INSERT、UPDATE、DELETE、TRUNCATE、CREATE TABLE等SQL语句，可以对数据库中的数据进行变更操作，用于数据初始化、历史数据清理、问题修复、功能测试等场景。本文介绍在DMS中进行普通数据变更的方法。...
常见问题
迁移与同步 为什么OSS外表导入ORC、PARQUET等格式的数据，出现内存报错或OOM挂掉？如何处理导入数据报错：too many parts？为什么DataX导入速度慢？为什么Hive导入后其数据行数跟ClickHouse对不上？为什么Kafka导入后其数据行数跟...
引擎功能
您可以通过SQL语句直接在数据库内完成整个机器学习流程，挖掘更深的数据价值。使用数据库内机器学习服务的优势主要体现在以下几个方面：简单易用：无需掌握专业的机器学习知识，只需要使用标准的SQL就能完成机器学习整个流程。无数据移动：...
Insert Into
背景信息 Insert Into命令是MySQL等数据库中常用的数据导入方式。云数据库 SelectDB 版 兼容标准SQL语法，支持通过Insert Into 命令导入数据。包含以下两种：Insert Into tbl SELECT.Insert Into tbl(col1,col2,.)VALUES(1,2,.),(1,3,.);...
支持的云服务
日志数据采集后，需要更多的个性化分析、挖掘，您可以通过DataWorks的数据集成将日志服务数据同步到MaxCompute，通过MaxCompute对日志数据进行个性化、深层次的数据分析、挖掘。更多SLS信息，请参见 日志服务SLS。访问控制RAM RAM是阿里云...
使用DTS进行数据迁移是否会覆盖掉已存在数据
概述 本文介绍使用DTS进行数据迁移是否会覆盖掉已存在数据。详细信息 如果配置迁移任务时，只迁移几个表，那么预检查...因此在目标库有数据的情况下，DTS不支持进行数据迁移，所以DTS数据迁移不会覆盖掉已存在的数据。适用于 数据传输服务 DTS
文档更新动态（2022年之前）
新功能 网络连通解决方案 2021年08月24日 数据服务：支持数据服务模块的数据查询加速、支持的数据源类型和版本拓展 为了满足对数据查询速度有要求的业务场景，Dataphin支持为项目添加加速计算源，且完成Dataphin数据源开发后，您可以手动...
黄牛账号识别之GraphCompute解决方案
首先从离线算法出发：探索的路线从图传播算法——>图聚类算法——>图表征算法，挖掘更大范围，更深层次的风险。最开始使用图传播算法，可以快速地挖掘出少量风险实例且较高的准确率效果，但是半监督的图传播算法只能从局部出发，挖掘出已知...
功能更新动态（2022年之前）
2021年08月 功能名称 功能描述 发布时间 发布地域 相关文档 产品计费：策略优化及数据处理单元规格拓展 同步任务和集成任务对应的数据处理单元由1:1修改为3:1，且前200个集成任务免费，进一步降低数据上云成本。同时，手动任务、汇总逻辑表...
- 产品推荐
- 这些文档可能帮助您