Spark作业读写OSS数据
本文以Spark自带的PageRank作业为例,介绍如何在ACK集群中运行Spark作业,并配置读写位于阿里云OSS(对象存储服务)中的数据。
使用Fluid实现数据加速访问
JindoRuntime是基于C++实现的支撑Dataset数据管理和缓存的执行引擎,支持OSS对象存储。Fluid通过管理和调度JindoRuntime实现数据集的可见性、弹性伸缩和数据迁移。本文介绍如何在ACS算力场景下使用Fluid实现数据加速访问。
通过阿里云Prometheus监控监测Knative数据并在阿里云Grafana查看监控大盘
ACK集群已经兼容阿里云Prometheus和Grafana,无需您自建监控系统和可视化大盘。在Knative中部署业务应用后,您可以将Knative服务的监控数据接入Prometheus,通过Grafana大盘实时查看Knative的响应延迟、请求并发数、CPU和内存资源用量等数据。
采集集群节点的Systemd Journal日志数据
Systemd是Linux系统的一个初始化系统和服务管理器,负责启动系统后的所有服务。其中,Journal是Systemd的一个组成部分,用于收集和存储系统日志。在Kubernetes容器场景下,如需获取kubelet、操作系统层等涉及节点稳定性的关键指标日志,您需要通过Systemd Journal日志数据进行查询和分析。ACK集群兼容了日志服务SLS,您可以安装日志组件Logtail,通过Da...
SSIS中的容器和数据流—举例说明数据转换任务
在上一个随笔中我们熟悉了数据流任务,现在来做一个例子,通过实践学习这些介绍的内容。这个例子从AdventureWorks数据库中取得数据,然后对数据进行聚合,排序,计算产生新列操作并输入到一个.csv文件中。 新建一个新的package将它重命名为AdventureWorksExtract.dtsx,在control flow中拖放一个数据流任务,双击进入data flow 界面 在data .....
SSIS中的容器和数据流—数据转换(Transformations)续
在上一篇随笔中列举了部分Data Flow中的数据转换任务,这里继续剩余的转换任务。 数据挖掘请求 数据挖掘任务是SSIS中一个很重要的任务,它的思想来源于一些算法。数据挖掘请求运行数据挖掘请求,并将结果输出到数据流。它还可以添加一些预测新列,一些应用场合如下列举: 根据已知的一些列,例如子女个数,家庭收入,配偶收入预测产生一个新列:这个人是否拥有住房 根据客户购物卡预测客户的购买意...
SSIS中的容器和数据流—数据转换(Transformations)
对数据流来说按照需求将数据转换成需要的格式是数据操作中的一个关键的步骤。例如想要得到聚合排序后的运算结果,转换可以实现这种操作。和SQL Server 2000 DTS完全不同,这些操作不需要编写script,所有的运算都在内存中进行。添加一个数据转换之后,数据直接转换成想要的格式然后传递给下一个步骤,由于是在内存中完成运算操作的,不需要在数据库中建立对象来存储这些操作函数。但是当需要处理大批量....
SSIS中的容器和数据流—调试工具数据视图
数据视图是SSIS中常见的调试工具,它的功能是在包运行的时候查看数据。例如如果在Aggregate转换的前,后分别放置一个数据视图,尅查看数据在进行聚合操作之前和之后的数据。 但是如果将package部署或者作为job的一个步骤运行,数据视图将不会显示出来。有四种类型的数据视图。 表格Grid:在一个时间点显示数据快照 直方图Histogram:使用柱状图显示数据的分布 散...
SSIS中的容器和数据流—数据目的
在Data Flow中Destination从数据源或者数据处理流程中接收数据。在SSIS中数据可以导入到任何OLE DB支持的数据源,平面文件或者Analysis Service中的数据。和数据源一样Destinations也通过连接管理器来连接,不同之处是有一个数据映射界面如图4-11。 图4-11 只有在连接到数据流之后才可以配置Destinations,使用绿色箭头将数据源或者数据流和.....
本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。
容器更多数据相关
阿里云容器服务 ACK
云端最佳容器应用运行环境,安全、稳定、极致弹性
+关注