文章 2023-12-27 来自:开发者社区

带你读《Apache Doris 案例集》——08秒级数据写入,毫秒查询响应,天眼查基于 Apache Doris 构建统一实时数仓(1)

作者:天眼查实时计算负责人,王涛 导读: 随着天眼查近年来对产品的持续深耕和迭代,用户数量也在不断攀升,业务的突破更加依赖于数据赋能,精细化的用户/客户运营也成为提升体验、促进消费的重要动力。在这样的背景下正式引入Apache Doris对数仓架构进行升级改造,实现了数据门户的统一,大大缩短了数据处理链路,数据导入速率提升75%,500万及以下人群圈选可以实现毫秒级响应,收获了公司内部....

带你读《Apache Doris 案例集》——08秒级数据写入,毫秒查询响应,天眼查基于 Apache   Doris 构建统一实时数仓(1)
文章 2023-12-27 来自:开发者社区

带你读《Apache Doris 案例集》——08秒级数据写入,毫秒查询响应,天眼查基于 Apache Doris 构建统一实时数仓(2)

更多精彩内容,欢迎观看:带你读《Apache Doris 案例集》——08秒级数据写入,毫秒查询响应  天眼查基于 Apache   Doris 构建统一实时数仓(1):https://developer.aliyun.com/article/1405690新数仓架构 经过对 Doris 进行综合评估,我们最终决定采用 Doris 对原有架构进行升级优化,并在架构层....

带你读《Apache Doris 案例集》——08秒级数据写入,毫秒查询响应,天眼查基于 Apache   Doris 构建统一实时数仓(2)
文章 2023-12-26 来自:开发者社区

下一代实时数据库:Apache Doris 【七】数据模型

3.5 数据模型Doris 的数据模型主要分为 3 类:Aggregate 、Uniq 、Duplicate3.5.1 Aggregate 模型表中的列按照是否设置了 AggregationType,分为 Key (维度列) 和 Value (指标列) 。 没有设置 AggregationType 的称为 Key,设置了 AggregationType 的称为 Value。当我们导入数据时,对于....

文章 2023-12-26 来自:开发者社区

下一代实时数据库:Apache Doris 【六】数据划分

3.4 数据划分以 3.3.2 的建表示例来理解。3.4.1 列定义以 AGGREGATE KEY 数据模型为例进行说明。更多数据模型参阅 Doris 数据模型。 列的基本类型, 可以通过在 mysql-client 中执行 HELP CREATE TABLE; 查看。AGGREGATE KEY 数据模型中, 所有没有指定聚合方式(SUM 、REPLACE 、MAX、 MIN) 的列视为 Key....

下一代实时数据库:Apache Doris 【六】数据划分
文章 2023-12-26 来自:开发者社区

下一代实时数据库:Apache Doris 【五】数据表的创建

第3章 数据表的创建3.1创建用户和数据库1)创建 test 用户mysql -h hadoop1 -P 9030 -uroot -pcreate user ‘test’ identified by ‘test’;2)创建数据库create database test_db;3)用户授权grant all on test_db to test;3.2基本概念在 Doris 中,数据都以关系表(T....

下一代实时数据库:Apache Doris 【五】数据表的创建
文章 2023-12-26 来自:开发者社区

下一代实时数据库:Apache Doris 【四】扩容缩容

2.5扩容和缩容Doris 可以很方便的扩容和缩容 FE、BE、Broker 实例。2.5.1 FE扩容和缩容可以通过将 FE 扩容至 3 个以上节点来实现 FE 的高可用。1)使用 MySQL 登录客户端后,可以使用 sql 命令查看 FE 状态,目前就一台 FEmysql -h hadoop1 -P 9030 -uroot -p SHOW PROC ‘/frontends’;也可以通过页面访....

文章 2023-12-26 来自:开发者社区

下一代实时数据库:Apache Doris 【三】集群部署

2.3 安装要求2.3.1 软硬件需求Linux 操作系统要求linux 系统 版本Centos 7.1 及以上Ubuntu 16.04 及以上2)软件需求软件 版本Java 1.8 及以上GCC 4.8.2 及以上3)开发测试环境模块 CPU 内存 磁盘 网络 实例数量Frontend 8 核+ 8GB SSD 或 SATA ,10GB+ * 千兆网卡 1Backend 8 核+ 16GB S....

下一代实时数据库:Apache Doris 【三】集群部署
文章 2023-12-26 来自:开发者社区

下一代实时数据库:Apache Doris 【二】编译与安装

第 2 章 编译与安装安装 Doris,需要先通过源码编译,主要有两种方式:使用 Docker 开发镜像编译(推荐)、直接编译。直接编译的方式,可以参考官网:https://doris.apache.org/zh-CN/installing/compilation.html2.1 安装 Docker 环境Docker 要求 CentOS 系统的内核版本高于 3.10 ,首先查看系统内核版本是否满....

文章 2023-12-26 来自:开发者社区

下一代实时数据库:Apache Doris 【一】简介

第 1 章 Doris 简介1.1 Doris 概述Apache Doris 由百度大数据部研发(之前叫百度 Palo,2018 年贡献到 Apache 社区后, 更名为 Doris ) ,在百度内部, 有超过 200 个产品线在使用, 部署机器超过 1000 台, 单一 业务最大可达到上百 TB。Apache Doris 是一个现代化的 MPP (Massively Parallel Proc....

下一代实时数据库:Apache Doris 【一】简介
文章 2023-12-20 来自:开发者社区

奇富科技基于阿里云数据库 SelectDB 版内核 Apache Doris 的统一 OLAP 场景探索实践

2023 年 3 月,在阿里云瑶池数据库峰会上,阿里云与飞轮科技正式达成战略合作协议,双方旨在共同研发名为“阿里云数据库 SelectDB 版”的新一代实时数据仓库,为用户提供在阿里云上的全托管服务。 SelectDB 是飞轮科技基于 Apache Doris 内核打造的聚焦于企业大数据实时分析需求的企业级产品。因此阿里云数据库 SelectDB 版也延续了 Apache Doris 性能优异.....

奇富科技基于阿里云数据库 SelectDB 版内核 Apache Doris 的统一 OLAP 场景探索实践

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐

Apache Spark 中国技术社区

阿里巴巴开源大数据技术团队成立 Apache Spark 中国技术社区,定期推送精彩案例,问答区数个 Spark 技术同学每日在线答疑,只为营造 Spark 技术交流氛围,欢迎加入!

+关注
相关镜像