阿里云文档 2025-02-13

Java SDK大数据场景下批量写入数据

表格存储提供了BulkImport接口用于在大数据场景下批量写入数据到数据表。当要写入数据到数据表时,您需要指定完整主键以及要增删改的属性列。

阿里云文档 2025-01-24

开放存储SDK示例-Java SDK

MaxCompute支持第三方引擎(如Spark on EMR、StarRocks、Presto、PAI和Hologres)通过SDK调用Storage API直接访问MaxCompute数据,本文为您介绍使用Java SDK访问MaxCompute的代码示例。

阿里云文档 2024-09-30

Java UDF

本文为您介绍如何编写和使用UDF。

阿里云文档 2023-03-06

问题描述创建MaxCompute自定义函数时,在代码中调用了其他API,或者有访问外部网络的操作。本地调用UDF函数正常,但是传入Dataphin注册之后,报错“java.net.SocketException: Network is unreachable (connect failed)”。问题...

阿里云文档 2022-09-07

Dataphin计算任务查询时报错:\"ODPS-0123131:Userdefinedfunctionexception-Traceback:java.lang.RuntimeException:SCHEMAMISMATCH:ExternalTableschemaspecifiedatotalof[44]columns,butcurrenttextlineparsedinto[30]columnsdelimitedby[,].\"

问题描述用户使用计算任务查询外部表时,报错“ODPS-0123131:User defined function exception - Traceback: java.lang.RuntimeException: SCHEMA MISMATCH: External Table schema spe...

文章 2022-05-02 来自:开发者社区

java大数据组件Kafka

1.定义:大吞吐量,内置分区,可以进行数据备份,同时具备数据容错性的消息系统。1.Kafka可以完成在线或者离线数据消费,所谓离线数据消费实际上就是kafka将消息数据保留在磁盘上。2.kafka会做数据备份,防止节点宕机从而导致数据丢失。3.和spark产品的整合性非常好,可以完成实时的大数据分析4.kafka的节点可以无限扩容2.消息系统:将数据从一个应用程序传递到另一个应用程序,分布式系统....

文章 2022-05-02 来自:开发者社区

java大数据组件Zookeeper

zookeeper的作用:Zookeeper是针对大型分布式系统的高可靠的协调系统,如dubbo里面的注册中心、分布式锁等,主要应用于分布式系统中。分布式应用的优点:1.可靠性- 单个或几个系统的故障不会使整个系统出现故障。2.可扩展性- 可以在需要时增加性能,通过添加更多机器,在应用程序配置中进行微小的更改,而不会有停机时间。3.透明性- 隐藏系统的复杂性,并将其显示为单个实体/应用程序。分布....

java大数据组件Zookeeper
文章 2022-05-02 来自:开发者社区

java大数据组件Flume

特点:flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。支持在日志系统中定制各类数据发送方,用于收集数据;同时,Flume提供对数据进行简单处理,并写到各种数据接受方(比如文本、HDFS、Hbase等)的能力Flume的可靠性:当节点出现故障时,日志能够被传送到其他节点上而不会丢失。Flume提供了三种级别的可靠性保障:1.end to end:收到数据agent首先将ev....

java大数据组件Flume

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

云原生大数据计算服务 MaxCompute您可能感兴趣

产品推荐

大数据计算 MaxCompute

MaxCompute(原ODPS)是一项面向分析的大数据计算服务,它以Serverless架构提供快速、全托管的在线数据仓库服务,消除传统数据平台在资源扩展性和弹性方面的限制,最小化用户运维投入,使您经济并高效的分析处理海量数据。

+关注