1. 阿里云>
  2. partition多个提交

partition多个提交

请教大牛,我自己写了一个SinkFunction,继承了RichSinkFunction,初始化这个SinkFunction时,我传进去了一个数据库连接池对象,在SinkFunction的invoke里,调用数据库连接池对象来写数据库。我的问题是,当SinkFunction被partition到多个机器的vm执行时,这个数据库连接池对象是在程序入口的JobClient(程序提交所在的机器VM),还是这个对象也被复制了好多份,有多少个SinkFunction在运行就有多少个数据库连接池对象?
转自钉钉群21789141:请教大牛,我自己写了一个SinkFunction,继承了RichSinkFunction,初始化这个SinkFunction时,我传进去了一个数据库连接池对象,在SinkFunction的invoke里,调用数据库连接池对象来写数据库。我的问题是,当SinkFunction被partition到多个机器的vm执行时,这个数据库连接池对象是在程序入口的JobClient...
串行跑10个处理1个partition的job和跑1个处理10个partition的job,同样的10个partition,处理的业务逻辑是一样的,只是一个是多路输入输出的,运行时间一样吗?? 因为目前用并行处理是希望节省时间,禁止并发的话,来不及处理。 多个任务会处理同一张表,但是是不同的partition,试验了几次,都是会有部分任务有问题; mapper阶段确实就是并发,但是目前遇到的状况是,并行跑10个job,每个job大概72个parttion,并行跑的时候,每个job任务提交到开始执行挺快的,
串行跑10个处理1个partition的job和跑1个处理10个partition的job,同样的10个partition,处理的业务逻辑是一样的,只是一个是多路输入输出的,运行时间一样吗??因为目前用并行处理是希望节省时间,禁止并发的话,来不及处理。多个任务会处理同一张表,但是是不同的partition,试验了几次,都是会有部分任务有问题;mapper阶段确实就是并发,但是目前遇到的状况是,并...
1

“提交”相关的热门内容

..com提交 .提交bug .run提交 .jsp提交 .项目提交 .表单提交提交数据 .提交按钮 .提交实名认证

“多个”相关的热门内容

.执行多个结果 .并发多个数据 .多个目录网站 .多个对象数据转换 .多个实例互不干扰 .adobe教程多个文档 .auth指定多个访问权限 .ecs多个不同网站

“partition”相关的热门内容

.磁盘thepartitiontable .报错thepartitiontable .partition异常处理kafkaserver .partition异常处理.comserver .partition多个提交执行 .linux扩容partitiontable .linux磁盘partitiontable .linux报错partitiontable
售前咨询
95187转1
专业技术咨询
全方位产品解读
成熟解决方案
成功客户案例分享
支持与服务 公告 帮助文档 自助工具 新手学堂 在线客服 技术工单 我要建议 我要投诉 迁移与部署 运维与管理 优化与提升 服务案例 支持计划
账户管理 管理控制台 备案管理 域名控制台 账号管理 充值付款 线下汇款/电汇 合同申请 索取发票 合规性
快速入口 域名信息查询(WHOIS) 云产品快报 海外上云 客户案例 举报中心 信任中心 产品图标 产品学习路径 阿里云认证 贡献者榜单
资源和社区 开发者社区 开发者学院 公开课 问答 藏经阁 天池平台 阿里云创新中心 阿里云全球培训中心 在线学习 开放实验室 考试认证 高校合作 码上公益
关注阿里云 企业决策必读 企业决策必读 阿里云APP 阿里云APP 阿里云微信 阿里云微信 阿里云微博 阿里云微博 阿里云支持与服务 阿里云支持与服务
热门产品 用户热搜 企业场景 更多推荐
短信服务 云服务器ECS CDN RDS MySQL 版 SSL证书 云数据库 Redis 版 Web应用防火墙 全站加速 专有网络 VPC RDS SQL Server 版 智能语音交互 PolarDB MySQL版 文件存储 (NAS) Elasticsearch 共享带宽 交互式分析 智能对话机器人 企业物联网平台 数据管理 DMS 云原生数据湖分析 全球加速 GA 数据库专属集群 应用身份服务 容器服务 ACK 发票凭证识别 数据库备份DBS 混合云备份 HBR 弹性云桌面 实人认证 商标服务 表格存储 Tablestore 文字识别 内容安全 安全加速SCDN 交通云控平台 实时语音识别 云AP 机器学习PAI 消息队列Kafka 金融分布式架构 SOFAStack 资源编排
关于我们 法律声明及隐私权政策 廉正举报 联系我们 加入阿里云
阿里巴巴集团 淘宝网 天猫 聚划算 全球速卖通 阿里巴巴国际交易市场 1688 阿里妈妈 飞猪 阿里云计算 AliOS 阿里通信 万网 高德 UC 友盟 虾米 优酷 钉钉 支付宝 达摩院 阿里安全
© 2009-2023 Aliyun.com 版权所有 增值电信业务经营许可证: 浙B2-20080101
网安 网安浙公网安备 33010602009975号

热门产品

  • 新人特惠专场
  • 云服务器
  • 轻量应用服务器
  • 网站建设
  • 对象存储
  • 关系型数据库
  • 短信服务
  • 关于我们

关注我们: 新浪微博 微信

售前咨询:95187转1 阿里云

©2023 Aliyun All rights reserved