文章 2024-08-29 来自:开发者社区

实时计算 Flink版产品使用问题之如何将PostgreSQL数据实时入库Hive并实现断点续传

问题一:Flink CDC里假设我想实现的场景未来可以实现吗? Flink CDC里假设我想实现的场景是:将MySQL的商品信息以及统计商品的销量、热度等,同步到es,适合使用fink cdc吗?是同时监听商品表、订单表等相关表来实现实时同步吗? 参考答案: 参考这个case https://ververica.github.io/flink-...

实时计算 Flink版产品使用问题之如何将PostgreSQL数据实时入库Hive并实现断点续传
文章 2024-08-29 来自:开发者社区

实时计算 Flink版产品使用问题之怎么将数据从Hive表中读取并写入到另一个Hive表中

问题一:flink固定延迟重试策略 可以设置3天吗 ? flink中, 这个参数 Enable Delayed Retry Strategy For Lookup 固定延迟重试策略 可以设置3天吗 ?另外性能怎么样? 参考答案: Flink的固定延迟重试策略可以设置3天,并且启用"Enable Delayed Retry Strategy Fo...

实时计算 Flink版产品使用问题之怎么将数据从Hive表中读取并写入到另一个Hive表中
文章 2024-07-18 来自:开发者社区

MaxCompute产品使用合集之如何将数据迁移到CDH Hive

问题一:大数据计算MaxCompute这个创建数据集成同步任务的时候,怎么有调度配置的请求参数? 大数据计算MaxCompute这个创建数据集成同步任务的时候,怎么有调度配置的请求参数? 参考回答: 在MaxCompute中,使用DataWorks OpenAPI创建数据集成同步任务(CreateDISyncTask)时,确实涉及到调度配置的请求参数。这些参数通...

文章 2024-07-17 来自:开发者社区

DataWorks产品使用合集之同步数据到Hive时,如何使用业务字段作为分区键

问题一:DataWorks能与CDP集成使用吗?将任务提交到CDP集群进行计算? DataWorks能与CDP集成使用吗?将任务提交到CDP集群进行计算? 参考回答: 支持的哈 可以参考看下 https://help.aliyun.com/zh/dataworks/user-guide/register-a-cdh-or-cdp-cluster-to-...

DataWorks产品使用合集之同步数据到Hive时,如何使用业务字段作为分区键
文章 2024-07-17 来自:开发者社区

DataWorks产品使用合集之在数据集成中,如何设置写入Hive的用户为指定用户

问题一:DataWorks工作空间参数 支持CDH 节点吗? DataWorks工作空间参数 支持CDH 节点吗? 参考回答: DataWorks工作空间参数支持CDH节点。 DataWorks是阿里云提供的一种大数据开发、运维和治理的集成服务,它支持多种计算引擎和数据源,包括Apache Hadoop和Apache Spark等开源生态。具体...

DataWorks产品使用合集之在数据集成中,如何设置写入Hive的用户为指定用户
文章 2024-07-16 来自:开发者社区

实时计算 Flink版产品使用问题之如何使用Flink SQL连接带有Kerberos认证的Hive

问题一:coordinate字段 是point类型 flink不支持怎么办 ? coordinate字段 是point类型 flink不支持怎么办 ? 我在flinksql改成string的话 写入时报错 ...

实时计算 Flink版产品使用问题之如何使用Flink SQL连接带有Kerberos认证的Hive
文章 2024-06-16 来自:开发者社区

实时计算 Flink版产品使用问题之同步到Hudi的数据是否可以被Hive或Spark直接读取

问题一:Flink CDC这个应该在哪里配? Flink CDC这个应该在哪里配?mysql 的超时我已经改成30s了 参考答案: 要么找DBA改一下,要么自己去看有没有参数改,我们是10分钟,有的...

实时计算 Flink版产品使用问题之同步到Hudi的数据是否可以被Hive或Spark直接读取
文章 2024-06-16 来自:开发者社区

实时计算 Flink版产品使用问题之kafka2hive同步数据时,如何回溯历史数据

问题一:flink中,join如果不指定窗口,会把join结果一直存储下来吗? flink中,join如果不指定窗口,会把join结果一直存储下来吗? 参考答案: Apache Flink 中,如果不指定窗口进行 join,join 结果不会无限期地存储下来。在无窗口的情况下进行 join,Flink 会根据数据流的到达顺序和关联键进行即时 join。...

实时计算 Flink版产品使用问题之kafka2hive同步数据时,如何回溯历史数据
文章 2024-06-10 来自:开发者社区

MaxCompute产品使用合集之启用hive兼容的时候,某个字段是null,是否会把这个字段当成空白连起来

问题一:大数据计算MaxCompute我开启了hive兼容,但是这个和hive、spark的有差异,为什么? 大数据计算MaxCompute我开启了hive兼容,但是这个和hive、spark的有差异,这个函数我其它两个产品都用过,别人都是连起来的字段如果中间某个字段是null,是用空白替换,整个字段数量是不变的,结果MC这里导致字段数量少了,非得加nvl判断下。。。 ...

MaxCompute产品使用合集之启用hive兼容的时候,某个字段是null,是否会把这个字段当成空白连起来
问答 2023-02-09 来自:开发者社区

目前大数据行业除了做自有的产品外,hive,spark,flink等除了sql外,正常的业务会写代码

目前大数据行业除了做自有的产品外,hive,spark,flink等除了sql外,正常的业务会写代码?会有哪些业务或者企业会用到呢?

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。