公交出行：启迪公交
启迪公交采用 PolarDB-X 分布式数据库方案构建了全部业务系统，既支持海量大数据的处理能力，又支持高并发、高可用和很强的弹性伸缩能力。票务管理工作台通过用户检录数据，实时同步到阿里云AnalyticDB分析型数据库，分析出实时客流，结合...
PyODPS概述
DataFrame数据结构，但这个接口只应该被用于获取小规模数据做本地开发调试使用，而不是用来大规模处理数据，因为使用这个接口会触发下载行为，将位于MaxCompute中的海量数据下载到本地，如果后续操作的都是本地的DataFrame，则丧失了...
数据科学计算概述
为满足用户基于MaxCompute进行大规模数据处理、分析、挖掘及模型训练的需求，MaxCompute提供了一套Python开发生态，让用户通过统一的Python编程接口一站式、高效地完成数据处理、加工及挖掘工作。发展路径 MaxCompute提供的Python开发生态...
LightGBM
回归：整数或浮点数 说明 若存在非数值数据，则会抛出异常 csv组件 igateoffline组件 平台上其他数据处理组件 按照平台组件开发的自定义组件 模型端口 参数名 参数描述 输出参数 输出数据类型 模型 输出算法训练后模型存储的地址。模型地址...
应用场景
本章节介绍FPGA云服务器的典型应用场景。...以时序数据处理为例，时序数据广泛应用于物联网（IoT）设备监控系统、企业能源管理系统（EMS）、生产安全监控系统、电力检测系统等行业场景，f3实例单路数据吞吐性能是单核CPU的30倍以上。
通过大数据平台搭建设备监控大屏
本文介绍如何对接物联网平台和阿里云大数据平台，以实现设备数据分析、统计、计算和可视化实时展示。前提条件 开通、购买相关阿里云产品实例和计算资源。使用阿里云大数据平台处理物联网平台设备相关数据，涉及多个阿里云产品，包括 云数据...
Spark应用性能诊断
使用性能诊断工具可以快速定位性能瓶颈（例如：内存峰值、Spill等），提高数据处理效率。大规模应用负载均衡：Spark应用在高并发负载运行时，可能会出现性能问题，例如：数据倾斜、长尾任务、负载不均衡。对Spark应用进行性能诊断，可以...
集群消费和广播消费
分布式数据处理：在大规模数据处理的场景中，使用集群消费模式可以将数据分发给多个处理节点进行并行处理。每个节点只处理其中一部分数据，从而加速数据处理的速度。注意事项 集群模式下，不保证每一次失败重投的消息投递到同一台机器上。...
配置跨库Spark SQL节点
大数据量处理：支持快速处理较大规模的数据（十万条以上数据）。Spark SQL语法：基于Spark 3.1.2版本部署，提供该版本所有语法特性和原生函数。原生函数包括聚合函数、窗口函数、数组函数、Map函数、日期和时间处理函数、JSON处理函数等。...
离线集成概述
解决企业复杂大数据批处理难题，支持企业精细化运营、数据营销、智能推荐等大数据业务场景。离线集成功能底层基于Spark开发，支持提升Hadoop平台运行速度的应用场景。说明 如果您在使用该功能的过程中有任何疑问或问题，请使用钉钉搜索钉钉...
创建集群
用于构建大规模数据处理框架和管道，适用于大数据分析，支持Apache Hive、Spark和Presto等开源框架。支持的集群类型如下：Hadoop： 提供最丰富的开源组件列表，完全兼容Hadoop生态。可应用于大数据离线处理、实时处理和交互式查询等多种...
选择付费方式
对周期性高密度计算作业使用包年包月模式，对非周期性的大规模数据处理作业使用按量计费模式。按量计费模式下可以不存储数据，通过读取其它账号下的表获取数据，从而可以节省数据存储费用。不同账号下跨表计算需要通过授权来实现，详细请...
概述
a.dot(b).execute()Mars DataFrame接口 和Pandas保持一致，且支持大规模数据处理和分析。示例代码如下。import mars.dataframe as md ratings=md.read_csv('Downloads/ml-20m/ratings.csv') movies=md.read_csv('Downloads/ml-20m/movies....
功能与优势
应用于实时营销、实时风控、安全态势感知等领域，提升开发效率和大规模数据处理能力，同时保证业务连续性。上下游数据连接（Connector） 涵盖阿里云产品和开源社区30+主流引擎，涉及数据库、消息中间件、数据仓库、湖格式、文件系统等多种...
通过ES-Hadoop实现Hive读写阿里云Elasticsearch数据
ES-Hadoop是Elasticsearch推出的专门用于对接Hadoop生态的工具，可以让数据在Elasticsearch和Hadoop之间双向移动，无缝衔接Elasticsearch与Hadoop服务，充分使用Elasticsearch的快速搜索及Hadoop批处理能力，实现交互式数据处理。...
网络游戏：心动网络股份有限公司
分布式云原生数据库方案构建了全部业务系统：PolarDB 支持处理海量大数据，同时具备高并发、高可用和很强的弹性伸缩能力。PolarDB 特有的高性能读能力，能在游戏服务层因变更、异常等导致服务端重启后，有效支撑业务的快速恢复。客户价值 ...
LightGBM算法
设计初衷是提供一个快速、高效、低内存、高准确度、支持并行和大规模数据处理的工具。LightGBM可以减少数据对内存的使用、减少通信代价以及提升多机并行时的效率，在数据计算上实现线性加速。使用场景 LightGBM是一个算法框架，包括GBDT...
基于GitHub公开事件数据集的离线实时一体化实践
阿里云在此方向上进行了诸多方案设计，推出了化繁为简的实时离线一体化数仓，通过大数据计算服务MaxCompute和实时数仓Hologres分别对应上述的离线与实时场景，同时匹配Flink的实时加工能力，共同构成阿里云一体化数仓的核心引擎组件。...
功能特性
可解决企业批处理复杂大数据的难题，支持企业精细化运营、数据营销、智能推荐等大数据业务场景。离线集成概述 流式ETL 帮助您实现流式数据地抽取、数据转换和加工、数据装载。丰富企业实时数据处理和计算场景，赋能企业数字化转型。什么是...
Spark的数据写入至Hologres
Spark是用于大规模数据处理的统一分析引擎，Hologres已经与Spark（社区版以及EMR Spark版）高效打通，快速助力企业搭建数据仓库。Hologres提供的Spark Connector，支持Spark以批处理的方式将数据写入Hologres，同时Spark支持读取多种数据源...
消费-搭建监控系统
弹性的服务能力：处理大规模数据写入和读取的能力。图 1.监控系统架构 如何搭建监控系统 收集监控数据 配置SLS的日志收集，确保日志收集到了日志服务。中间件使用API消费数据 通过SDK的PullLog接口从日志服务批量消费日志数据，并且把数据...
exZset
通过TairZset（exZset）可实现256维度的double类型的分值排序，适用于游戏、直播、音乐、电商等行业的排行榜场景，可极大提升数据处理效率，且客户端适配简易，无需任何编解码封装。TairZset简介 原生Redis支持的排序结构Sorted Set（也称...
列存索引如何实现高效数据过滤
filter成为处理大规模数据集中的元素存在性问题的一种非常有用的数据结构。Bloom filter与minmax也可以结合使用，IMCI会根据两者的综合结果来判断是否要跳过某个数据块。Nullable列优化 由于Null值处理逻辑比较特殊，数据库索引一般针对...
在DTS迁移或同步任务中配置ETL
数据传输服务DTS提供流式数据ETL（Extract Transform Load）数据处理功能，详情请参见 什么是ETL ETL结合DTS的高效流数据复制能力，可以实现流式数据的抽取、数据转换、加工和数据装载，支持的典型场景有：数据过滤、数据脱敏、记录数据...
自定义区域下钻层（v3.x版本）
重新请求服务端数据，上游数据处理节点或图层节点抛出的数据将作为参数。例如自定义区域下钻层配置了API数据源为 https://api.test ，传到 请求自定义topojson数据接口 动作的数据为 { id:'1'}，则最终请求接口为 https://api.test?id=1 。...
区域热力层（v3.x版本）
请求数据接口 重新请求服务端数据，上游数据处理节点或图层节点抛出的数据将作为参数。例如区域热力层配置了API数据源为 https://api.test ，传到 请求数据接口 动作的数据为 { id:'1'}，则最终请求接口为 https://api.test?id=1 。导入...
自定义区域下钻层（v3.x版本）
重新请求服务端数据，上游数据处理节点或图层节点抛出的数据将作为参数。例如自定义区域下钻层配置了API数据源为 https://api.test ，传到 请求自定义topojson数据接口 动作的数据为 { id:'1'}，则最终请求接口为 https://api.test?id=1 。...
矢量散点层（v3.x版本）
重新请求服务端数据，上游数据处理节点或图层节点抛出的数据将作为参数。例如矢量散点层配置了API数据源为 https://api.test ，传到 请求数据接口 动作的数据为 { id:'1'}，则最终请求接口为 https://api.test?id=1 。导入数据接口 按组件...
区域热力层（v2.x版本）
重新请求服务端数据，上游数据处理节点或图层节点抛出的数据将作为参数。例如区域热力层配置了API数据源为 http://api.test ，传到 请求地理边界geojson数据接口 动作的数据为 { id:'1'}，则最终请求接口为 http://api.test?id=1 。请求...
仪表盘
再根据需要在蓝图编辑器配置页面的数据处理节点中更改对应样式的字段值。显示 显示组件，参考数据示例如下。return{ animationType":"","animationDuration":1000,"animationEasing":"linear"} 隐藏 隐藏组件，参考数据示例如下。return{...
梯形柱状图
请求梯形柱状图接口 重新请求服务端数据，上游数据处理节点或图层节点抛出的数据将作为参数。例如梯形柱状图配置了API数据源为 https://api.test 传到 请求梯形柱状图接口 动作的数据为 { id:'1'}，则最终请求接口为 ...
基本柱图（v3.0以下版本）
基本柱图是柱状图的一种，相比弧形柱图，基本柱图组件支持自定义y轴区间和多个系列的数据配置，能够更加智能地展示多维的数据差异基本柱图，但在可视化应用中占的空间较大。本文介绍基本柱图各配置项的含义件。配置 重要 本文介绍v3.0以下...
水平胶囊柱状图
请求水平胶囊柱状图接口 重新请求服务端数据，上游数据处理节点或图层节点抛出的数据将作为参数。例如水平胶囊柱状图配置了API数据源为 https://api.test ，传到 请求水平胶囊柱状图接口 动作的数据为 { id:'1'}，则最终请求接口为 ...
基本柱状图（v3.0及以上版本）
重新请求服务端数据，上游数据处理节点或图层节点抛出的数据将作为参数。例如基本柱状图配置了API数据源为 https://api.test ，传到 请求基本柱状图接口 动作的数据为 { id:'1'}，则最终请求接口为 https://api.test?id=1 。导入基本柱状图...
分组柱状图
请求分组柱状图接口 重新请求服务端数据，上游数据处理节点或图层节点抛出的数据将作为参数。例如分组柱状图配置了API数据源为 https://api.test 传到 请求分组柱状图接口 动作的数据为 { id:'1'}，则最终请求接口为 ...
旭日图
重新请求服务端数据，上游数据处理节点或图层节点抛出的数据将作为参数。例如旭日图配置了API数据源为 https://api.test ，传到 请求旭日图接口 动作的数据为 { id:'1'}，则最终请求接口为 https://api.test?id=1 。导入旭日图接口 按组件...
梯形柱状图（v3.0及以上版本）
重新请求服务端数据，上游数据处理节点或图层节点抛出的数据将作为参数。例如梯形柱状图配置了API数据源为 https://api.test ，传到 请求梯形柱状图接口 动作的数据为 { id:'1'}，则最终请求接口为 https://api.test?id=1 。导入梯形柱状图...
水平胶囊柱状图（v3.0及以上版本）
请求水平胶囊柱状图接口 重新请求服务端数据，上游数据处理节点或图层节点抛出的数据将作为参数。例如水平胶囊柱状图配置了API数据源为 https://api.test ，传到 请求水平胶囊柱状图接口 动作的数据为 { id:'1'}，则最终请求接口为 ...
分组柱状图（v3.0及以上版本）
重新请求服务端数据，上游数据处理节点或图层节点抛出的数据将作为参数。例如分组柱状图配置了API数据源为 https://api.test ，传到 请求分组柱状图接口 动作的数据为 { id:'1'}，则最终请求接口为 https://api.test?id=1 。导入分组柱状图...
垂直胶囊柱状图（v3.0及以上版本）
请求垂直胶囊柱状图接口 重新请求服务端数据，上游数据处理节点或图层节点抛出的数据将作为参数。例如垂直胶囊柱状图配置了API数据源为 https://api.test ，传到 请求垂直胶囊柱状图接口 动作的数据为 { id:'1'}，则最终请求接口为 ...
- 产品推荐
- 这些文档可能帮助您