使用Spark Structured Streaming实时处理Kafka数据
本文介绍如何使用阿里云 Databricks 数据洞察创建的集群去访问外部数据源 E-MapReduce，并运行Spark Structured Streaming作业以消费Kafka数据。前提条件 已注册阿里云账号，详情请参见 阿里云账号注册流程。已开通 E-MapReduce服务。已...
Hadoop Streaming
本文为您介绍如何使用Python提交Hadoop Streaming作业。前提条件 已在E-MapReduce控制台上创建Hadoop集群。创建集群详情，请参见 创建集群。操作步骤 通过SSH方式连接集群，详情请参见 使用SSH连接主节点。新建文件 mapper.py。执行以下...
Spark Streaming
本文介绍DLA Serverless Spark如何提交Spark Streaming作业以及Spark Streaming作业重试的最佳实践。前提条件 在DLA Serverless Spark中运行Spark Streaming作业前，您需要完成以下准备工作：授权DLA Serverless Spark访问用户VPC网络的...
Spark Streaming消费
tmp/spark/streaming",functionToCreateContext_)ssc.start()ssc.awaitTermination()} } Direct模式 Direct模式不需要消费组，使用API在任务运行时直接从服务端请求数据。Direct模式具有如下优势：简化并行：Spark partition个数与...
通过Spark Streaming作业处理Kafka数据
本文介绍在阿里云E-MapReduce创建的包含kafka服务的DataFlow集群中，如何使用Spark Streaming作业从Kafka中实时消费数据。前提条件 已注册阿里云账号。已开通E-MapReduce服务。已完成云账号的授权，详情请参见 角色授权。步骤一：创建...
Streaming SQL作业配置
以下列出了Spark Streaming SQL提供的数据源依赖包的版本信息和使用说明，建议使用最新版本。库名称 版本 发布日期 引用字符串 详细信息 datasources-bundle 2.0.0（推荐）2020/02/26 sharedlibs:streamingsql:datasources-bundle:2.0.0 ...
Spark Streaming作业配置
本文介绍如何配置Spark Streaming类型的作业。前提条件 已创建好项目，详情请参见 项目管理。已准备好作业所需的资源，以及作业要处理的数据。操作步骤 进入数据开发的项目列表页面。通过阿里云账号登录 阿里云E-MapReduce控制台。在顶部...
创建EMR Spark Streaming节点
EMR Spark Streaming节点用于处理高吞吐量的实时流数据，并具备容错机制，可以帮助您快速恢复出错的数据流。本文为您介绍如何创建EMR Spark Streaming节点并进行数据开发。前提条件 已注册EMR集群至DataWroks，详情请参见 注册EMR集群至...
实时Spark Streaming消费示例
本文简单介绍如何使用Spark DataFrame API开发一个流式作业消费LogService数据。Spark Structured Streaming Scala访问LogHub 代码示例#StructuredLoghubWordCount.Scala object StructuredLoghubSample { def main(args:Array[String]){ ...
Streaming Tunnel SDK示例（Python）
Streaming Tunnel是MaxCompute的流式数据通道，您可以通过Streaming Tunnel向MaxCompute中上传数据，本文为您介绍使用Python版Streaming Tunnel SDK上传数据的简单示例。注意事项 Streaming Tunnel仅支持上传数据，下文为您介绍一个简单的...
PauseEventStreaming-停用一个运行中的事件流
The event streaming[xxxx]not existed!RequestId string 阿里云为该请求生成的唯一标识符。72ce027c-546a-4231-9cf6-ec58766027f9 Code string 接口返回码：Success：表示成功。其它：表示错误码。错误码详情，请参见错误码。Success ...
StartEventStreaming-启用一个已创建或已停用的事件流
The event streaming[xxxx]not existed!RequestId string 阿里云为该请求生成的唯一标识符。8CEAD24D-328D-5539-9D30-FD2D33204FBB Code string 接口返回码：Success：表示成功。其它：表示错误码。错误码详情，请参见错误码。Success ...
Dataphin集成任务报错“Application was streaming ...
问题描述 本文主要描述了Dataphin集成任务报错“Application was streaming results when the connection failed.Consider raising value of 'net_write_timeout' on the server.”的解决方法。问题原因 服务端的问题，等待将一个block发送...
数据源支持概述
使用 streaming-sql 命令行进行交互式开发。[hadoop@emr-header-1~]#streaming-sql-master yarn-client-jars emr-datasources_shaded_2.11-${version}.jar-driver-class-path emr-datasources_shaded_2.11-${version}.jar 工作流方式 详情...
使用Tunnel命令或Tunnel SDK
使用Streaming Tunnel SDK上传数据 MaxCompute流式数据通道服务提供了以流式的方式把数据写入MaxCompute的能力，使用与原批量数据通道服务不同的一套全新的API及后端服务。MaxCompute流式数据通道服务应用场景如下。场景 说明 特点 大量...
对接MaxCompute常见问题与诊断
报错原因：MaxCompute表数据写入时使用Streaming Tunnel的方式写入，写入命令为 tunnel.createStreamUploadSession。Hologres读取数据时需要开启两个GUC。解决方法：添加如下两个配置项。说明 仅Hologres V1.3及以上版本支持该GUC。set hg_...
通过ASM实现gRPC链路追踪
Server streaming RPC 使用Java语言通过服务端获取Headers实现Server streaming RPC。对Headers无感知。使用Go语言通过服务端获取Headers实现Server streaming RPC。在方法中直接调用 metadata.FromIncomingContext(ctx)，上下文参数 ctx ...
通过ASM实现gRPC链路追踪
Server streaming RPC 使用Java语言通过服务端获取Headers实现Server streaming RPC。对Headers无感知。使用Go语言通过服务端获取Headers实现Server streaming RPC。在方法中直接调用 metadata.FromIncomingContext(ctx)，上下文参数 ctx ...
CreateApp-创建应用
取值：video-cloud-streaming：使用云渲染串流服务。self-have-streaming：自有串流。self-have-streaming 返回参数 名称 类型 描述 示例值 object AppIdDataFlatPopResult AppId string 应用 ID。4384*RequestId string 请求 ID。46329898...
Kafka数据源
Kafka offset消费延迟监控 由于Streaming SQL底层使用Structured Streaming SQL消费Kafka作业，默认情况下不会提交当前消费的offset到Kafka Server上，详情请参见 Structured Streaming+Kafka Integration Guide。Streaming作业运行之后，...
GetApp-查询应用详情
取值：video-cloud-streaming：使用云渲染串流服务。self-have-streaming：自有串流。self-have-streaming VersionTotalNum long 应用总共创建的版本数。28 VersionAdaptNum long 应用总共适配成功的版本数。10 RequestId string 请求 ID。...
Tunnel SDK示例汇总引导
Tunnel命令：Tunnel命令使用说明 Streaming Tunnel SDK：Streaming Tunnel SDK示例（Java）：简单上传示例 多线程上传示例 异步化IO多线程上传示例 Streaming Tunnel SDK示例（Python）：上传示例 基于Tunnel SDK的其他SDK：Java SDK介绍与...
实时消费Kafka数据
当您需要将Kafka数据写入 云原生数据仓库AnalyticDB PostgreSQL版，且不希望使用其他数据集成工具时，可以通过实时数据消费功能直接消费Kafka数据，减少实时处理组件依赖，提升写入吞吐。Apache Kafka是一个容错、低延迟、分布式的发布-...
EMR Spark功能增强
支持使用Stuctured Streaming API以Delta作为source或者sink进行数据的读或写。支持使用Delta API对数据进行update、delete、merge、vaccum、optimize等操作。支持使用SQL创建基于Delta的表、导入数据到Delta和读取Delta表等操作。Others ...
流式入库
但是在实际使用Hive Streaming功能的案例并不多见。其主要原因如下：Hive事务的实现修改了底层文件，导致公共的存储格式等仅能够被Hive读取，导致很多使用SparkSQL、Presto等进行数据分析的用户无法使用该功能。Hive事务目前仅支持ORC。...
常见问题
用Spark Streaming写数据到Delta，本质上是执行一系列的mini batch，一个batch会产生一个或者多个文件。由于batch size通常较小，因此Spark Streaming连续运行会产生相当数量的小文件。解决方法有两种：如果实时性要求不高，建议增大mini ...
EMR-3.22.x版本说明
支持使用Stuctured Streaming API以Delta作为source或者sink进行数据的读或写。支持使用Delta API对数据进行update、delete、merge、vaccum、optimize等操作。支持使用SQL创建基于Delta的表、导入数据到Delta和读取Delta表等操作。Others ...
常见问题（FAQ）
Delta Lake是否支持使用Spark Streaming DStream API进行写入或读取？Delta不支持DStream API。我们建议进行表流读取和写入。使用Delta Lake时，是否可以轻松地将代码移植到其他Spark平台？是。使用Delta Lake时，您将使用开放的Apache ...
某历史养成类游戏开发公司实时计算和数据仓库方案
2）数据明细层：操作数据层使用Spark Streaming等进行数据去噪、去重、字段规范后写入Lindorm SQL服务，也可以直接使用JDBC写入数据；3）数据汇总层：数据明细层的数据可以定期（按天或者按小时）ETL（比如关联维表、过滤、聚合）后写入到...
Hive连接器
对ACID表支持行级的DELETE与UPDATE，不支持分区键列和桶列的UPDATE，不支持使用Hive Streaming Ingest创建的ACID表，详情 Streaming Data Ingest。物化视图 Hive连接器支持从Hive的物化视图中读取数据。在Presto中，这些视图将以常规的、...
上下游存储
排查方法 通过以下步骤来确认Flink与Kafka之间是否存在代理或端口映射等转发机制：使用ZooKeeper命令行工具（zkCli.sh或zookeeper-shell.sh）登录您Kafka使用的ZooKeeper集群。根据您的集群实际情况执行正确的命令，来获取您的Kafka Broker...
变量
使用nats streaming可以做到持久化，缓存等功能。Nats的核心原则是性能，可伸缩和易用性。由于可伸缩性的复杂性，nats旨在容易使用和实现，且能提供多种质量的服务。一些适用nats的场景有：高吞吐量的消息分散 —— 少数的生产者需要将数据...
提交作业和查看作业信息
yarn-client方式（默认）streaming-sql-f test.sql yarn-cluster方式 streaming-sql-master yarn-deploy-mode cluster-f test.sql 查看作业信息 Spark官方发布的Structured Streaming功能，暂不支持查看具体Structured Streaming作业的运行...
简介
背景信息 Spark Streaming SQL是基于Spark Structured Streaming开发完成的，所有语法功能和使用限制遵循Spark Structured Streaming的标准，因此可以使用SQL语句来开发流式分析作业。注意事项 EMR集群是否支持Spark Streaming SQL功能与...
查看Spark监控
Streaming Processing Rate/Min 当前Streaming作业每分钟处理Records的速率。Streaming Processing Delay 当前Streaming作业Batch的处理延时。Streaming Scheduling Delay 当前Streaming作业Batch的调度延时。Structured Streaming Latency...
- 产品推荐
- 这些文档可能帮助您