数据Apache 的相关内容

文章 2025-02-19 来自：开发者社区

数据无界、湖仓无界， Apache Doris 湖仓一体解决方案全面解读（上篇）

在过去的数年间，数据分析技术栈经历了许多重要变革，从最初数据仓库概念的诞生，到数据湖的兴起，进而演进到湖仓一体解决方案。这一技术路线的演进，反映出现代企业在数据分析领域对性能、实时性、一致性、开放性、统一管理方面的需求不断增强。湖仓一体的演进 01 传统数据仓库的出现在企业信息化发展初期、业务流程数字化的不断推进下，积累的数据愈发繁杂。管理层亟需快速整理这些数据，清晰洞察业务状况以精准决策，....

文章 2024-09-05 来自：开发者社区

【数据新纪元】Apache Doris：重塑实时分析性能，解锁大数据处理新速度，引爆数据价值潜能！

在大数据时代的浪潮中，数据已成为企业最宝贵的资产之一。然而，面对海量数据的快速增长和复杂多变的业务需求，如何高效、实时地处理和分析这些数据，挖掘其背后的价值，成为企业面临的重大挑战。Apache Doris，作为一款高性能的实时分析数据库，正以其卓越的性能和灵活的架构，引领我们进入数据...

文章 2024-08-15 来自：开发者社区

流计算引擎数据问题之Apache Kafka Streams 没有采用低水印方案如何解决

问题一：Apache Kafka Streams 为何没有采用低水印方案？ Apache Kafka Streams 为何没有采用低水印方案？参考回答： Apache Kafka Streams 没有采用低水印方案主要是因为其“持续增量处理流表”模型和追求更简洁直观的完整性解决方案的设计理念。Kafka Streams 允许在每个算子上配置宽限期来进...

文章 2024-08-15 来自：开发者社区

流计算引擎数据问题之Apache Flink 的完整性推理方案设计如何解决

问题一：MillWheel/Cloud DataFlow 架构设计中为何需要节点持久化低水印？ MillWheel/Cloud DataFlow 架构设计中为何需要节点持久化低水印？参考回答：在 MillWheel/Cloud DataFlow 的架构设计中，节点持久化低水印是为了在节点故障时能够快速恢复状态，从而保障数据处理的 Failover ...

问答 2024-06-09 来自：开发者社区

E-MapReduce使用sparksql写数据到表中报错org.apache.spark.s...

E-MapReduce使用sparksql写数据到表中报错org.apache.spark.sql.AnalysisException: org.apache.hadoop.hive.metastore.api.InvalidInputException: Action: GET_PARTITIONS ErrorCode: InvalidInput Message: Partition spec....

文章 2024-04-22 来自：开发者社区

手把手教你实现 OceanBase 数据到阿里云数据库 SelectDB 内核版 Apache Doris 的便捷迁移｜实用指南

作者：SelectDB 技术团队2023 年 3 月，在阿里云瑶池数据库峰会上，阿里云与飞轮科技正式达成战略合作协议，双方旨在共同研发名为“阿里云数据库 SelectDB 版”的新一代实时数据仓库，为用户提供在阿里云上的全托管服务。SelectDB 是飞轮科技基于 Apache Doris 内核打造的聚焦于企业大数据实时分析需求的企业级产品。因此阿里云数据库 SelectDB 版也延续了 Apa....

文章 2024-03-12 来自：开发者社区

如何将数据更快导入Apache Hudi？

1. 摘要 Apache Hudi除了支持insert和upsert外，还支持bulk_insert操作将数据摄入Hudi表，对于bulk_insert操作有不同的使用模式，本篇博客将阐述bulk_insert不同的模式以及与其他操作的比较。 Apache Hudi支持bulk_insert操作来将数据初始化至Hudi表中，该操作相比insert和upsert操作速度更快，效率更...

文章 2024-03-07 来自：开发者社区

如何不加锁地将数据并发写入Apache Hudi？

最近一位 Hudi 用户询问他们是否可以在不需要任何锁的情况下同时从多个写入端写入单个 Hudi 表。他们场景是一个不可变的工作负载。一般来说对于任何多写入端功能，Hudi 建议启用锁定配置。但这是一个有趣的问题，我们进行探索并找到了解决方案，因此与更广泛的社区分享。需要并发写入的锁提供程序对于某些场景来说可能是必要的，但可能并不适合所有场景。因此我们首先看看为什么当并发写入...

阿里云文档 2024-02-23

Apache Impala（CDH6）查询OSS数据

CDH是Cloudera提供的包含Apache Hadoop核心组件的企业级大数据发行版，已支持Hadoop 3.0.0。本文将详解如何配置CDH6环境下的Hadoop、Hive、Spark、Impala等组件，以实现对接阿里云OSS存储服务进行数据查询操作。

文章 2023-12-27 来自：开发者社区

带你读《Apache Doris 案例集》——08秒级数据写入，毫秒查询响应，天眼查基于 Apache Doris 构建统一实时数仓（1）

作者：天眼查实时计算负责人，王涛导读：随着天眼查近年来对产品的持续深耕和迭代，用户数量也在不断攀升，业务的突破更加依赖于数据赋能，精细化的用户/客户运营也成为提升体验、促进消费的重要动力。在这样的背景下正式引入Apache Doris对数仓架构进行升级改造，实现了数据门户的统一，大大缩短了数据处理链路，数据导入速率提升75%,500万及以下人群圈选可以实现毫秒级响应，收获了公司内部....