一、场景公司A购买了Dataphin的独立部署版本，但是想要体验实时研发的功能，可以怎么做？二、解决方案及功能首先，实时研发基于 Apache Flink，因此需要一个独立的 Flink 集群。Dataphin 提供了基于 Kubernetes 的 Flink 部署模式，允许利用调度集群运行flink任务。需要注意以下几点：目前仅独立...

文章 2024-07-29 来自：开发者社区

如何在Dataphin中构建Flink+Paimon流式湖仓方案

1. 背景当前大数据处理工业界非常重要的一个大趋势是一体化，尤其是湖仓一体架构。与过去分散的数据仓库和数据湖不同，湖仓一体架构通过将数据存储和处理融为一体，不仅提升了数据访问速度和处理效率，还简化了数据管理流程，降低了资源成本。企业可以更轻松地实现数据治理和分析，从而快速决策。湖仓一体架构的核心技术支撑，来自于table-format技术。目前开源支持的有icebe...

文章 2024-07-16 来自：开发者社区

基于Dataphin+Flink构建期货交易监察实时应用

一、业务背景随着现代金融市场交易速度的加快以及交易量的大幅增加，随之而来的是多种交易风险的显著提升。对于交易所而言，对市场、交易等领域的监察能力提出了更高的要求，利用先进的大数据技术实现实时处理和分析交易数据，并识别潜在的、规则化的异常交易模式。因此，多个交易所完成了计算更加高效的具备实时能力的交易监察系统——新一代监察系统...