阿里云搜索结果产品模块_X-Pack Spark

OPPO 实时数仓揭秘:从顶层设计实现离线与实时的平滑迁移

多个节点。在元数据维度,实时数据库表达到了 500 多张,实时作业大概有 300 多个。在数据规模维度,每天总数据处理量超过了 10 万亿,峰值大概超过每秒 3 亿。实时 VS 线 谈到实时 的顶层 设计,也不得不谈到实时 的底层逻辑,因为 ...
来自: 开发者社区 > 博客 作者: 巴蜀真人 浏览:91 回复:0

读写分离架构 - 云原生数仓 AnalyticDB MySQL

AnalyticDB的弹性模式采用了存储计算分离 架构。存储层依然采用了Shared-Nothing 架构,兼具了预留模式的扩展性和并发性 ...

一级分区的规划和设计 - 云原生数仓 AnalyticDB MySQL

本章节介绍一级分区表的规划和 设计,其中主要是一级分区列的选取。 分析型数据库MySQL版一级分区表采用 ...
推荐

阿里云试用中心,为您提供0门槛上云实践机会!

0元试用32+款产品,最高免费12个月!拨打95187-1,咨询专业上云建议!
广告

结构设计 - 云原生数仓 AnalyticDB MySQL

的数据量不宜太大,每张维度表存储的数据不超过2万行。 普通表也叫作分区表,是为充分利用分布式系统的查询能力而 设计的一类表。普通表可存储的数据量通常比较大,可以存储 ...

整体架构 - 云原生数仓 AnalyticDB MySQL

是在过去8年沉淀的基础上,基于数据库大数据一体化的理念和趋势,在工程上深度打磨出的云原生 升级版本。 技术 架构 ...

从HTTP层面观察离线包的行为 (3):更新全部离线包 - 移动开发平台 mPaaS

iOS 和 Android 平台均提供了 API 实现一次请求所有 线包的更新信息,其基本过程如下:客户端向 MDS 服务端发送请求,请求中提供了本地已安装的所有 H5 App 的 ID 和本地版本号,外加一个特殊的 App ID: nebula ...

从HTTP层面观察离线包的行为(2):更新指定离线包 - 移动开发平台 mPaaS

当开发者在 线包发布平台上发布一个新的 线包版本时,客户端拉取更新包的基本过程如下:客户端向 MDS 服务端发送请求,请求中提供了需要更新的目标 H5 App 的 ID 和本地版本号。服务端返回该 线包的相关更新信息(如果存在)。客户端根据返回信息中 ...

从HTTP层面观察离线包的行为(1):下载离线包 - 移动开发平台 mPaaS

mPaaS 客户端框架对 线包的下载行为作出深度的封装,开发者往往并不直接控制 线包的下载行为。 线包的下载过程大致如下:客户端向 MDS 服务端(cn-hangzhou-component-gw.cloud.alipay.com)发送请求,请求中 ...

下线和删除离线单条管道 - 智能数据构建与管理 Dataphin

、下线并删除和删除 线单条管道。 前提条件 完成 线单条管道的创建,详情请 ...

阿里云实时数仓Hologres的应用场景 - 交互式分析Hologres

Hologres兼容PostgreSQL生态,是新一代的阿里云实时 产品,与大数据生态无缝连接,支持实时分析实时与 线数据,对接第三 ...

基于Flink的资讯场景实时数仓 - 消息队列Kafka版

。 场景描述 本文首先介绍什么是实时 以及相关技术 架构,接着介绍资讯聚合类业务的典型场景及其业务目标,并据此 设计了相应的技术 架构。然后介绍如何部署基础环境和搭建 ...

步骤一:规划数仓 - 智能数据构建与管理 Dataphin

本文为您介绍如何规划店铺销售的 ,包括创建业务板块、计算源、数据源、项目及项目中的成员 ...

基于AnalyticDB构建企业数仓 - DataWorks

,并进行运维和元数据管理等操作。 开始本文的操作前,请首先创建工作空间,详情请参见创建工作空间 ...

五分钟DMS数仓开发之ADB for PG - 数据管理 DMS

分析型数据库PostgreSQL版(原HybridDB for PostgreSQL,下面简称ADB for PG)是阿里云上一款流行的实时数据仓库产品,提供简单、快速、经济高效的 PB 级云端数据仓库解决方案。本文将重点介绍DMS 开发如何对接 ...

数仓性能优化 - MaxCompute

针对 的性能优化 ...

离线预测通用说明 - 机器学习PAI

预测组件可以使用PAI-EasyVision训练出的模型进行 线预测。本文介绍 线预测通用的输入数据格式及PAI命令参数 ...

数仓分层 - MaxCompute

。 该数据分类 架构在ODS层分为三部分:数据准备区、 线数据和准实时数据区。整体数据分类 架构如下图所示。在 ...

数仓分层 - DataWorks

。 该数据分类 架构在ODS层分为三部分:数据准备区、 线数据和准实时数据区。整体数据分类 架构如下图所示。在 ...

数仓构建流程 - 智能数据构建与管理 Dataphin

最佳实践,使用Dataphin助力企业数据中台的建设与管理,快速构建标准、规范的数据仓库的流程。 构建流程 ...

离线值特征分析 - 机器学习PAI

本文为您介绍PAI-Studio提供的 线值特征分析。 离散值特征分析统计离散特征的分布情况。包括 ...

用Flink取代Spark Streaming!知乎实时数仓架构演进

数据的查询和可视化,下图是实时 1.0 版本的整体数据 架构图。第一部分是数据采集,由三端 SDK 采集数据并通过 Log Collector Server 发送到 Kafka。第二部分是数据 ETL,主要完成对原始数据的清洗和加工并分实时和 线导入 ...
来自: 开发者社区 > 博客 作者: 巴蜀真人 浏览:71 回复:0

DTCC 2019 | 海量数据毫秒级分析的背后——《阿里超大规模实时数仓架构挑战与实践解析》

在DTCC 2019大会上,阿里云智能数据库产品事业部研究员林亮进行了题为《超大规模实时 架构挑战与实践解析》的分享,数据分析领域目前正在朝着在线化方向演进,数据业务在海量数据实时写入、高并发分析、稳定性、灵活性上挑战巨大。摘要:在DTCC 2019 ...
来自: 开发者社区 > 博客 作者: 七幕 浏览:205 回复:0

离线透传消息导致未读消息数增加

ios端,我使用了 线透传消息,在app 线的情况下,收到透传消息,app右上角的未读消息 不会改变,但是一旦收到推送消息,这个数据会连同透传的消息数量一起显示出来,导致只收到一条消息,却在app的右上角显示很多条消息 ,请问这个问题怎么解决 (注意:是app 线情况下,并非运行中,运行中收到 线消息不会导致这个未读消息 增加,但是 线情况下就会导致这种情况发生) ...
来自: 开发者社区 > 论坛 作者: 弘佳品进口美食 浏览:262 回复:0

欧盟委员会遭受DDoS攻击 服务器离线数小时

据外媒报道,当地时间周四欧盟委员会( European Commission)官网遭受分布式拒绝服务(DDoS)攻击,致使服务器 线 小时。欧盟委员会在一份声明中确认其成为了DDoS攻击目标,不过表示安全团队已迅速地作出反应,因而此次攻击并未造成任何影响 ...
来自: 开发者社区 > 博客 作者: 寒凝雪 浏览:89 回复:0

什么是一键建仓 - 云原生数仓 AnalyticDB MySQL

云原生数据仓库AnalyticDB MySQL版(简称ADB,原分析型数据库MySQL版)支持一键建 功能,通过简单几步配置即可将 ...

Flume+Hadoop+Hive的离线分析系统基本架构(二)

问题导读: 1、如何使用Mapreduce清洗日志文件? 2、如何使用HIVE建立数据仓库? Flume+Hadoop+Hive的 线分析系统基本 架构(一) 第三步,清洗第二步生成的Session信息,生成PageViews信息表 ...
来自: 开发者社区 > 论坛 作者: ae39 浏览:135 回复:7

Flume+Hadoop+Hive的离线分析系统基本架构(一)

问题导读: 1、如何 设计 线分析系 架构? 2、Flume如何收集日志信息? 3、如何使用Mapreduce清洗日志文件? 20160530210043675.jpg (243.69 KB, 下载次数: 11) 下载附件  保存到相册 2016 ...
来自: 开发者社区 > 论坛 作者: 13shuishou 浏览:195 回复:9

一淘大数据离线架构Hadoop+HBase介绍

。 从系统 架构上讲,一淘有很多大数据量的 线计算任务是在淘宝上千台基于Hadoop的分布式计算平台上完成的,在其上获取淘宝的商品、交易和用户数据是一件非常便捷的事情,平台强大的计算和存储能力也进一步激发了一淘工程师们的想象力和创造力。比如:一淘首次将淘宝用户的 ...
来自: 开发者社区 > 论坛 作者: 柠檬(elly) 浏览:290 回复:0

管理离线包 - 移动开发平台 mPaaS

时,需要手动合并到 JSON 文件中的 data 组。在初始化容器时,调用 initNebulaWithCustomPresetApplistPath 接口,设置预置 线包路径为上一步中创建的 bundle。 - (void)application ...

hadoop离线数据存储和挖掘架构

问题导读: 1、为什么要写《改为hadoop 线数据存储和挖掘 架构》这篇文章? 2、基于hadoop集群下海量 线数据如何存储和挖掘分析 架构? 3、我是如何理解Hadoop 线数据存储和挖掘 架构? 2016-04-20_155619.png (258 ...
来自: 开发者社区 > 论坛 作者: qq1040386699 浏览:193 回复:3

配置查看整库离线同步任务 - DataWorks

完成数据源、网络、资源的准备配置后,您可以创建并执行整库 线同步任务,开始进行数据同步。本文为您介绍如何创建整库 线同步任务,将指定 ...

高德-离线架构资深研发工程师

发布时间: 2017-05-17 工作地点: 北京市 工作年限: 三年以上 所属部门: 高德 学   历: 本科 招聘人数: 2 岗位描述: 1、负责高德地图POI数据、第三方数据等多源数据的接入处理,进行融合计算 2、建立实时和 线 ...
来自: 开发者社区 > 论坛 作者: 火蓝云 浏览:597 回复:0

离线数据同步 - 数据资源平台

本章节介绍如何创建、管理 线数据同步任务,下述以MySQL to MaxCompute为例 ...

使用 H5 离线包 - 移动开发平台 mPaaS

参考 在 Xcode 创建工程,创建新工程,我们基于此工程,使用 H5 线包。发布 线包首先,在使用 H5 线包之前,需要先准备一个前端 App 的 zip 包。如果没有自己的前端 线包,可以下载我们为您准备好的 示例 线包。在控制台的应用中 ...

从Lambda架构到Kappa架构再到?浅谈未来数仓架构设计~

Linked大佬Jay Kreps曾发表过一篇博客,简单阐述了他对数据仓库架构设计的一些想法。从Lambda架构的缺点到提出基于实时数据流的Kappa架构。本文将在Kappa架构基础上,进一步谈数仓架构设计。 什么是Lambda架构? 借用Jay K...
来自: 开发者社区 >博客

如果你也想做实时数仓…

作者:郭华(付空) 数据仓库也是公司数据发展到一定规模后必然会提供的一种基础服务,数据仓库的建设也是“数据智能”中必不可少的一环。本文将从数据仓库的简介、经历了怎样的发展、如何建设、架构演变、应用案例以及实时数仓与离线数仓的对比六个方面全面分享关于数仓的详细内容。 1.数据仓库简介 数据仓库是一个...
来自: 开发者社区 >博客

如果你也想做实时数仓…

作者:郭华(付空) 数据仓库也是公司数据发展到一定规模后必然会提供的一种基础服务,数据仓库的建设也是“数据智能”中必不可少的一环。本文将从数据仓库的简介、经历了怎样的发展、如何建设、架构演变、应用案例以及实时数仓与离线数仓的对比六个方面全面分享关于数仓的详细内容。 1.数据仓库简介 数据仓库是一个...
来自: 开发者社区 >博客

如果你也想做实时数仓…

作者:郭华(付空) 数据仓库也是公司数据发展到一定规模后必然会提供的一种基础服务,数据仓库的建设也是“数据智能”中必不可少的一环。本文将从数据仓库的简介、经历了怎样的发展、如何建设、架构演变、应用案例以及实时数仓与离线数仓的对比六个方面全面分享关于数仓的详细内容。 1.数据仓库简介 数据仓库是一个...
来自: 开发者社区 >博客

数据仓库介绍与实时数仓案例

案例与解决方案汇总页:阿里云实时计算产品案例&解决方案汇总 PPT见附件 1.数据仓库简介 数据仓库是一个面向主题的(Subject Oriented)、集成的(Integrate)、相对稳定的(Non-Volatile)、反映历史变化(Time Variant)的数据集合,用于支持管理...
来自: 开发者社区 >博客

云原生HSAP系统Hologres产品价值解读

演讲嘉宾简介:阿里云计算平台-交互式分析团队产品经理——李姗姗(花名:柔惠) 以下内容根据演讲视频以及PPT整理而成。点击查看》》视频回放  本次分享主要围绕以下三个方面:                       一、主流实时数仓架构:Lambda                       ...
来自: 开发者社区 >博客

Flink 助力美团数仓增量生产

本文由美团研究员、实时计算负责人鞠大升分享,主要介绍 Flink 助力美团数仓增量生产的应用实践。内容包括: 数仓增量生产 流式数据集成 流式数据处理 流式 OLAP 应用 未来规划 一、数仓增量生产 1.美团数仓架构 先介绍一下美团数仓的架构以及增量生产。如下图所示,这是美团数仓的简单架构,...
来自: 开发者社区 >博客

基于 Flink + Hive 构建流批一体准实时数仓

基于 Hive 的离线数仓往往是企业大数据生产系统中不可缺少的一环。Hive 数仓有很高的成熟度和稳定性,但由于它是离线的,延时很大。在一些对延时要求比较高的场景,需要另外搭建基于 Flink 的实时数仓,将链路延时降低到秒级。但是一套离线数仓加一套实时数仓的架构会带来超过两倍的资源消耗,甚至导致...
来自: 开发者社区 >博客

OPPO 实时数仓揭秘:从顶层设计实现离线与实时的平滑迁移

一、建设背景 关于 OPPO 移动互联网业务 大家都认为 OPPO 是一家手机公司,但大家可能并不清楚,其实 OPPO 也会做与移动互联网相关的业务。在 2019 年 12 月,OPPO 发布了自己定制的手机操作系统 ColorOS 7.0 版本。目前包括海外市场在内,ColorOS 的日活已经超...
来自: 开发者社区 >博客

OPPO 实时数仓揭秘:从顶层设计实现离线与实时的平滑迁移

一、建设背景 关于 OPPO 移动互联网业务 大家都认为 OPPO 是一家手机公司,但大家可能并不清楚,其实 OPPO 也会做与移动互联网相关的业务。在 2019 年 12 月,OPPO 发布了自己定制的手机操作系统 ColorOS 7.0 版本。目前包括海外市场在内,ColorOS 的日活已经超...
来自: 开发者社区 >博客
< 1 2 3 4 ... 3635 >
共有3635页 跳转至: GO
产品推荐
云服务器 物联网无线连接服务 商标 SSL证书 短信服务 轻量应用服务器
这些文档可能帮助您
企业实名认证和个体工商户认证 网站域名准备与检查 网站添加备案号FAQ 首次备案流程 申请备案服务号 个人实名认证

新品推荐

你可能感兴趣

热门推荐

2021阿里云采购季 采购季云服务器会场 采购季数据库会场 采购季存储会场 采购季云网络会场 采购季云通信会场 采购季中小企业应用会场 采购季大数据会场 采购季人工智能会场 CDN与视频云分会场 采购季物联网分会场 采购季安全分会场
阿里云搜索结果产品模块_X-Pack Spark