如何对互联网和电商行业进行离线大数据分析_大数据开发治理... | 互联网、电商行业离线大数据分析
概述电商网站的销售数据通过大数据进行分析后，可以在大屏幕展示销售指标、客户指标、销售排名和订单地区分布等业务指标数据。DataV大屏支持可视化动态展示销售数据，...
实施数据安全治理的关键问题及大数据安全治理的难点_大数据... | 大数据安全治理的难点
同时，大数据系统基于“存储、用户、入口、流转、交付”等多方面的特点，存在诸多安全治理难点。数据安全治理的关键问题数据安全治理能否清楚、准确地回答如下问题，将从侧面...
在大数据平台中集成Tair
常见大数据分析平台集成Tair的方法如下：大数据开发治理平台DataWorks：请参见配置Redis Writer插件。说明Tair完全兼容Redis，您可以参考该文档配置Tair实例信息，但暂不...
在大数据平台中集成Tair
常见大数据分析平台集成Tair的方法如下：大数据开发治理平台DataWorks：请参见配置Redis Writer插件。说明Tair完全兼容Redis，您可以参考该文档配置Tair实例信息，但暂不...
EMR弹性低成本离线大数据分析_EMR on ECS_开源大数据平台E-... | E-MapReduce弹性低成本离线大数据分析
大数据是一项涉及不同业务和技术领域的技术和工具的集合，海量离线数据分析可以应用于多种商业系统环境，例如，电商海量日志分析、用户行为画像分析、科研行业的海量...
大量数据导出方案_云原生大数据计算服务MaxCompute(MaxCompute) | 大量数据导出方案
将数据同步节点和ODPS SQL节点连线配置成依赖关系，ODPS SQL节点作为数据的产出节点，数据同步节点作为数据的导出节点。工作流调度配置完成后（可以直接使用默认配置），...
RDS搭配大数据计算服务实现大规模数据计算
本文介绍RDS MySQL如何结合大数据计算服务MaxCompute使用。开放数据处理服务又称为大数据计算服务（MaxCompute，原名ODPS），可服务于批量结构化数据的存储和计算，提供海量...
使用EMR本地盘机型进行大数据基准性能测试_EMR on ECS_开源大... | E-MapReduce本地盘实例大规模数据集测试
大数据基准测试用于公平、客观评测不同大数据产品/平台的功能和性能，对用户选择合适的大数据平台产品具有重要的参考价值，TPC-DS逐渐成为了业界公认的大数据...
进入数据质量大盘_大数据开发治理平台DataWorks(DataWorks) | 进入数据质量大盘
数据质量大盘为您展示当前工作空间下，需要重点关注的数据质量总览指标、实例运行后触发的质量规则校验状态的趋势及分布情况、TOP质量问题表及质量问题责任人、质量...
基于MaxFrame实现大模型（LLM）数据处理_云原生大数据计算服务... | 基于MaxFrame实现大语言模型数据处理
随着人工智能的发展，许多业务和数据分析可以基于大语言模型（LLM）进行广泛的应用，而数据处理是LLM开发尤为重要的一环，数据质量的好坏直接影响大模型训练、推理的最终...
大数据AI公共数据集分析
教程简介阿里云DataWorks基于多种大数据引擎，为数据仓库、数据湖、湖仓一体等解决方案提供统一的全链路大数据开发治理平台。本教程通过DataWorks，联合云原生大数据...
DataWorks数据开发的流程_大数据开发治理平台DataWorks(DataWorks... | 通用数据开发
说明上图中，虚线框内的开发流程均可基于阿里云大数据平台完成。数据开发的流程如下所示：数据产生：业务系统每天会产生大量结构化的数据，存储在业务系统所对应的...
IoT数据自动化同步至云端解决方案_大数据开发治理平台DataWorks... | IoT数据自动化同步至云端解决方案
物联网专注于物物相连，大数据专注于数据的价值化，云计算则为大数据和物联网提供计算资源等服务支持。大数据是物联网体系的重要组成部分。物联网的体系结构包括设备、...
数据质量概述_大数据开发治理平台DataWorks(DataWorks) | 数据质量概述
功能介绍数据质量支持对常见大数据存储（MaxCompute、E-MapReduce、Hologres、AnalyticDB PostgreSQL、AnalyticDB MySQL和CDH等）进行质量校验。从完整性、准确性、有效性、一致性、唯一性...
将Prometheus数据投递至大数据计算服务MaxCompute
当您需要将某个Prometheus实例的数据导出，进行自定义业务处理时，可以使用Prometheus数据投递功能，将Prometheus实例数据投递至大数据计算服务MaxCompute处理。MaxCompute...
将Prometheus数据投递至大数据计算服务MaxCompute
当您需要将某个Prometheus实例的数据导出，进行自定义业务处理时，可以使用Prometheus数据投递功能，将Prometheus实例数据投递至大数据计算服务MaxCompute处理。MaxCompute...
使用公开数据集体验数据分析可视化_大数据开发治理平台... | 使用公开数据集进行数据查询、分析和可视化
DataWorks汇聚了丰富的官方真实数据（敏感数据已脱敏），每份数据均提供了具体业务场景的查询...相关参考使用公开数据集的更多详细步骤，请参见大数据AI公共数据集分析。
构建数据仓库_大数据开发治理平台DataWorks(DataWorks) | 构建数据仓库
DataWorks具有通过可视化方式实现数据开发、治理全流程相关的核心能力，本文将为您介绍DataWorks在构建云上大数据仓库和构建智能实时数据仓库两个典型应用场景下的...
如何订阅并分析账单数据_大数据开发治理平台DataWorks(DataWorks... | 账单数据订阅及查询分析
DataWorks及MaxCompute：DataWorks基于MaxCompute等大数据引擎，支持您在线进行SQL分析、业务洞察、编辑和分享数据，以及将查询结果保存为可视化图表卡片，快速搭建可视化...
如何使用数据服务搭建企业物联网大数据应用_物联网平台(IoT) | 物联网数据处理分析架构参考
本文以一个企业案例介绍如何基于阿里云物联网平台的数据服务，搭建企业物联网大数据应用架构。背景信息随着物联网应用场景的深入，企业开始挖掘设备上传的数据，用于...
MaxCompute有哪些公开数据集_云原生大数据计算服务MaxCompute... | 公开数据集概述
大数据基准测试，衡量基于Hadoop的大数据系统的性能。它通过执行30个经常执行的分析查询来衡量硬件和软件组件的性能。TPCx-BB 10 GB性能测试集TPCx-BB 100 GB性能测试集...
如何使用DeltaLake进行数据冷热分层_EMR on ECS_开源大数据平台E... | 冷热分层
背景信息在海量大数据场景下，随着业务和数据量的不断增长，性能和成本的权衡成为大数据系统设计面临的关键挑战。Delta Lake是新型数据湖方案，推出了数据流入、数据...
数据仓库研发规范的阶段规划,角色职责和整体流程_大数据开发... | 数据仓库研发规范概述
在大数据时代，规范地进行数据资产管理已成为推动互联网、大数据、人工智能和实体经济深度融合的必要条件。贴近业务属性、兼顾研发各阶段要点的研发规范，可以切实提高...
如何将Tablestore OTS的数据纳入MaxCompute_云原生大数据计算... | Tablestore外部表
注意事项MaxCompute与Tablestore是两个独立的大数据计算和存储服务，所以两者之间的网络必须保证连通性。MaxCompute公共云服务访问Tablestore存储时，推荐您使用Tablestore...
数据科学计算概述_云原生大数据计算服务MaxCompute(MaxCompute) | 数据科学计算概述
PyODPS DataFrame提供了很多pandas-like的接口，但扩展了它的语法，比如增加了MapReduce API来扩展以适应大数据环境。内置聚合、排序、去重、采样、可视化绘图等常用函数。...
阿里云隐私计算产品是为了解决实际的数据安全问题和大数据... | 关于我们
阿里云隐私计算产品是源于阿里集团内部数据安全流通的最新解决方案和实践，所以她的提出是基于解决实际的数据安全问题和大数据场景需要，这就决定了她的基因里面...
使用Copilot，如何使用增强分析，数据查询及可视化分析_大数据... | 使用Copilot+增强分析实现一站式智能数据查询与可视化
成功登录后，在免费试用页面单击大数据开发治理平台DataWorks产品的立即试用。在弹出的DataWorks产品购买面板选择开通地域为华东2（上海），勾选服务协议后单击确认...
通过大数据平台搭建设备监控大屏
本文介绍如何对接物联网平台和阿里云大数据平台，以实现设备数据分析、统计、计算和可视化实时展示。前提条件开通、购买相关阿里云产品实例和计算资源。使用阿里云大数据...
数据分析场景下的常用工具与使用注意事项_云原生大数据计算... | 数据分析作业
MaxCompute是适用于数据分析场景的企业级SaaS模式云数据仓库，支持在多种工具上使用MaxCompute运行大数据计算分析作业。如果您需要进行简单的查询等数据分析作业，推荐...
如何使用DataWorks数据集成同步功能_云原生大数据计算服务... | RDS迁移至MaxCompute实现动态分区
本文为您介绍如何使用DataWorks数据集成同步功能自动创建分区，动态地将RDS中的数据迁移至MaxCompute大数据计算服务。前提条件准备DataWorks环境开通MaxCompute。在...
如何使用DataWorks实时...大数据开发治理平台DataWorks(DataWorks) | Github实时数据同步与分析
操作难度易所需时间55分钟使用的阿里云产品实时数仓Hologres云原生大数据计算服务MaxCompute专有网络VPC大数据开发治理平台DataWorks DataV数据可视化所需费用...
如何使用Flume同步数据至JindoFS服务_EMR on ECS_开源大数据平台... | 同步EMR Kafka数据至OSS-HDFS
背景信息OSS-HDFS服务是一款云原生数据湖存储产品，基于统一的元数据管理能力，在完全兼容HDFS文件系统接口的同时，提供充分的POSIX能力支持，能更好的满足大数据和...
数据引入层ODS表设计,规范,建表示例_云原生大数据计算服务... | 数据引入层（ODS）
当遇到大数据量情况下，这项工作就会更加复杂，且没有必要。使用代理键会增加ETL的复杂性，从而增加ETL任务的开发和维护成本。在不使用代理键的情况下，缓慢变化维度...
数据引入层ODS表设计,规范,建表示例_大数据开发治理平台... | 数据引入层（ODS）
当遇到大数据量情况下，这项工作就会更加复杂，且没有必要。使用代理键会增加ETL的复杂性，从而增加ETL任务的开发和维护成本。在不使用代理键的情况下，缓慢变化维度...
数据安全治理中基础防护的应用场景及最佳实践_大数据开发治理... | 阶段一：基础防护建设
场景四：开源身份隔离企业通常会使用DataWorks联合各类大数据引擎（例如，MaxCompute、E-MapReduce）进行数据开发。使用DataWorks及MaxCompute进行数据开发时，在标准模式工作...
如何调整JVM内存大小增强稳定性_EMR on ECS_开源大数据平台E-... | JVM内存调优
例如，大数据机型为3副本，Core节点数量为6，如果您有1000万个文件且都是中小文件，Blocks数量也为1000万，则单个DataNode副本数Replicas为500万（1000万×3÷6），内存...
DataWorks on EMR场景下的数据安全方案_大数据开发治理平台... | DataWorks on EMR数据安全方案
在大数据领域，阿里云为企业用户提供了一整套数据安全方案，包含用户认证、数据权限、大数据作业管理体系等。本文以联合使用DataWorks与EMR为例，为您介绍DataWorks on EMR...
- 产品推荐
- 这些文档可能帮助您