阿里云
>
partition多个提交
partition多个提交
请教大牛,我自己写了一个SinkFunction,继承了RichSinkFunction,初始化这个SinkFunction时,我传进去了一个数据库连接池对象,在SinkFunction的invoke里,调用数据库连接池对象来写数据库。我的问题是,当SinkFunction被partition到多个机器的vm执行时,这个数据库连接池对象是在程序入口的JobClient(程序提交所在的机器VM),还是这个对象也被复制了好多份,有多少个SinkFunction在运行就有多少个数据库连接池对象?
转自钉钉群21789141:请教大牛,我自己写了一个SinkFunction,继承了RichSinkFunction,初始化这个SinkFunction时,我传进去了一个数据库连接池对象,在SinkFunction的invoke里,调用数据库连接池对象来写数据库。我的问题是,当SinkFunction被partition到多个机器的vm执行时,这个数据库连接池对象是在程序入口的JobClient...
串行跑10个处理1个partition的job和跑1个处理10个partition的job,同样的10个partition,处理的业务逻辑是一样的,只是一个是多路输入输出的,运行时间一样吗?? 因为目前用并行处理是希望节省时间,禁止并发的话,来不及处理。 多个任务会处理同一张表,但是是不同的partition,试验了几次,都是会有部分任务有问题; mapper阶段确实就是并发,但是目前遇到的状况是,并行跑10个job,每个job大概72个parttion,并行跑的时候,每个job任务提交到开始执行挺快的,
串行跑10个处理1个partition的job和跑1个处理10个partition的job,同样的10个partition,处理的业务逻辑是一样的,只是一个是多路输入输出的,运行时间一样吗??因为目前用并行处理是希望节省时间,禁止并发的话,来不及处理。多个任务会处理同一张表,但是是不同的partition,试验了几次,都是会有部分任务有问题;mapper阶段确实就是并发,但是目前遇到的状况是,并...
1
“提交”相关的热门内容
.
.com提交
.
提交bug
.
run提交
.
jsp提交
.
项目提交
.
表单提交提交数据
.
提交按钮
.
提交实名认证
“多个”相关的热门内容
.
执行多个结果
.
并发多个数据
.
多个目录网站
.
多个对象数据转换
.
多个实例互不干扰
.
adobe教程多个文档
.
auth指定多个访问权限
.
ecs多个不同网站
“partition”相关的热门内容
.
磁盘thepartitiontable
.
报错thepartitiontable
.
partition异常处理kafkaserver
.
partition异常处理.comserver
.
partition多个提交执行
.
linux扩容partitiontable
.
linux磁盘partitiontable
.
linux报错partitiontable