实时计算 Flink版产品使用问题之如何将PostgreSQL数据实时入库Hive并实现断点续传
问题一:Flink CDC里假设我想实现的场景未来可以实现吗? Flink CDC里假设我想实现的场景是:将MySQL的商品信息以及统计商品的销量、热度等,同步到es,适合使用fink cdc吗?是同时监听商品表、订单表等相关表来实现实时同步吗? 参考答案: 参考这个case https://ververica.github.io/flink-...
实时计算 Flink版产品使用问题之怎么将数据从Hive表中读取并写入到另一个Hive表中
问题一:flink固定延迟重试策略 可以设置3天吗 ? flink中, 这个参数 Enable Delayed Retry Strategy For Lookup 固定延迟重试策略 可以设置3天吗 ?另外性能怎么样? 参考答案: Flink的固定延迟重试策略可以设置3天,并且启用"Enable Delayed Retry Strategy Fo...
MaxCompute产品使用合集之如何将数据迁移到CDH Hive
问题一:大数据计算MaxCompute这个创建数据集成同步任务的时候,怎么有调度配置的请求参数? 大数据计算MaxCompute这个创建数据集成同步任务的时候,怎么有调度配置的请求参数? 参考回答: 在MaxCompute中,使用DataWorks OpenAPI创建数据集成同步任务(CreateDISyncTask)时,确实涉及到调度配置的请求参数。这些参数通...
DataWorks产品使用合集之同步数据到Hive时,如何使用业务字段作为分区键
问题一:DataWorks能与CDP集成使用吗?将任务提交到CDP集群进行计算? DataWorks能与CDP集成使用吗?将任务提交到CDP集群进行计算? 参考回答: 支持的哈 可以参考看下 https://help.aliyun.com/zh/dataworks/user-guide/register-a-cdh-or-cdp-cluster-to-...
DataWorks产品使用合集之在数据集成中,如何设置写入Hive的用户为指定用户
问题一:DataWorks工作空间参数 支持CDH 节点吗? DataWorks工作空间参数 支持CDH 节点吗? 参考回答: DataWorks工作空间参数支持CDH节点。 DataWorks是阿里云提供的一种大数据开发、运维和治理的集成服务,它支持多种计算引擎和数据源,包括Apache Hadoop和Apache Spark等开源生态。具体...
实时计算 Flink版产品使用问题之如何使用Flink SQL连接带有Kerberos认证的Hive
问题一:coordinate字段 是point类型 flink不支持怎么办 ? coordinate字段 是point类型 flink不支持怎么办 ? 我在flinksql改成string的话 写入时报错 ...
实时计算 Flink版产品使用问题之同步到Hudi的数据是否可以被Hive或Spark直接读取
问题一:Flink CDC这个应该在哪里配? Flink CDC这个应该在哪里配?mysql 的超时我已经改成30s了 参考答案: 要么找DBA改一下,要么自己去看有没有参数改,我们是10分钟,有的...
实时计算 Flink版产品使用问题之kafka2hive同步数据时,如何回溯历史数据
问题一:flink中,join如果不指定窗口,会把join结果一直存储下来吗? flink中,join如果不指定窗口,会把join结果一直存储下来吗? 参考答案: Apache Flink 中,如果不指定窗口进行 join,join 结果不会无限期地存储下来。在无窗口的情况下进行 join,Flink 会根据数据流的到达顺序和关联键进行即时 join。...
MaxCompute产品使用合集之启用hive兼容的时候,某个字段是null,是否会把这个字段当成空白连起来
问题一:大数据计算MaxCompute我开启了hive兼容,但是这个和hive、spark的有差异,为什么? 大数据计算MaxCompute我开启了hive兼容,但是这个和hive、spark的有差异,这个函数我其它两个产品都用过,别人都是连起来的字段如果中间某个字段是null,是用空白替换,整个字段数量是不变的,结果MC这里导致字段数量少了,非得加nvl判断下。。。 ...
目前大数据行业除了做自有的产品外,hive,spark,flink等除了sql外,正常的业务会写代码
目前大数据行业除了做自有的产品外,hive,spark,flink等除了sql外,正常的业务会写代码?会有哪些业务或者企业会用到呢?
本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。