阿里云文档 2025-12-09

系统规则模板和自定义规则模板

为了减少书写Spec时的工作量,数据质量提供了数据质量规则模板能力,系统内置了一批常用的规则模板,您也可以创建自定义的规则模板,这些模板中固化了Spec所需的大部分设置。在使用模板创建规则时,只需要在模板基础之上,设置额外的配置即可。

阿里云文档 2025-08-22

订阅Serverless Spark工作流系统事件通知

EMR Serverless Spark已接入云监控平台,您可以通过事件订阅对重要的事件设置定制化的报警通知,让您及时了解事件的发生与进展,帮助您实时掌握事件动态,便于您在业务故障时快速分析并定位问题。

阿里云文档 2025-08-19

支持的预设的系统权限策略列表

本文描述云原生大数据计算服务 MaxCompute支持的所有系统权限策略及其对应的权限描述,供您授权 RAM 身份时参考。

阿里云文档 2025-06-27

DataWorks中EMR Serverless Spark版本的用户画像分析的加工数据阶段

本文为您介绍如何用Spark SQL创建外部用户信息表ods_user_info_d_spark以及日志信息表ods_raw_log_d_spark访问存储在私有OSS中的用户与日志数据,通过DataWorks的EMR Spark SQL节点进行加工得到目标用户画像数据,阅读本文后,您可以了解如何通过Spark SQL来计算和分析已同步的数据,完成数仓简单数据加工场景。

阿里云文档 2024-11-01

支持的预设的系统权限策略列表

本文描述EMR Workbench支持的所有系统权限策略及其对应的权限描述,供您授权 RAM 身份时参考。

文章 2022-06-17 来自:开发者社区

大数据日志分析系统背景及架构

用户行为日志用户每次访问网站时所有的行为数据(访问、浏览、搜索、点击…)用户行为轨迹、流量日志日志数据主要内容访问的系统属性: 操作系统、浏览器等等访问特征:点击的url、从哪个url跳转过来的(referer)、页面上的停留时间等访问信息:session_id、访问ip(访问城市)等离线数据处理架构数据处理流程五大步骤数据采集Flume: 使用Flume对数据进行采集,将web日志写入到HDF....

大数据日志分析系统背景及架构
文章 2022-02-16 来自:开发者社区

大数据平台网站日志分析系统

1:大数据平台网站日志分析系统,项目技术架构图: 2:大数据平台网站日志分析系统,流程图解析,整体流程如下:   ETL即hive查询的sql;   但是,由于本案例的前提是处理海量数据,因而,流程中各环节所使用的技术则跟传统BI完全不同:     1) 数据采集:定制开发采集程序,或使用开源框架FLUME     2) 数据预处理:定制开发mapreduce程序运行于hado...

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

云原生大数据计算服务 MaxCompute系统相关内容

云原生大数据计算服务 MaxCompute您可能感兴趣

产品推荐

阿里巴巴大数据计算

阿里大数据官方技术圈

+关注