大数据开发治理平台 DataWorks

DataWorks基于MaxCompute/EMR/MC-Hologres等大数据计算引擎,为客户提供专业高效、安全可靠的一站式大数据开发与治理平台,自带阿里巴巴数据中台与数据治理最佳实践,赋能各行业数字化转型。每天阿里巴巴集团内部有数万名数据/算法工程师...

Quick BI气泡图中的四象限,用XY度量值的平均值做分隔...

问题描述 Quick BI气泡图中的四象限,用XY度量值的平均值做分隔和添加辅助线,辅助线分别为XY的平均值,为什么...配置页面返回全部数据,如果数据太多导致无法全部返回,那么,前端页面数据量和后端数据就会存在差异。适用于 Quick BI 公共云

技术架构选型

在数据模型设计之前,您需要首先完成技术架构的选型。本教程中使用阿里云数据产品MaxCompute...DataWorks则包括数据开发数据质量、数据安全、数据管理等在内的一系列功能。icmsDocProps={'productMethod':'created','language':'zh-CN',};

创建交互问答型数字人

注意密钥ID和密钥Secret需要登录主账号查看将数字人能力接入到端上后端开发接入服务端 API 接入篇前端引入视频流接入篇 集成到网页端数字人视频流前端接入语音收音能力,通过RTC上传到虚拟数字人开放平台,即可实现与数字人的语音交互

后端数据库故障导致负载均衡SLB同一个监听中所有站点...

后端数据库故障导致负载均衡SLB的健康检查状态为“异常”,进而影响同一个监听下所有站点的访问。比如,某个HTTP监听的后端服务器中运行如下两个网站。当动态网站的后端数据库服务不可用时,静态网站也随之无法访问,提示HTTP 502错误。...

技术架构选型

在数据模型设计之前,您需要首先完成技术架构的选型。本教程中使用阿里云数据产品MaxCompute...DataWorks则包括数据开发数据质量、数据安全、数据管理等在内的一系列功能。icmsDocProps={'productMethod':'created','language':'zh-CN',};

健康检查FAQ

负载均衡因后端数据库故障导致健康检查失败,如何处理?负载均衡服务TCP端口健康检查成功,为什么在后端业务日志中出现网络连接异常信息?为什么业务本身没有异常但是健康检查显示异常?健康检查的原理是什么?负载均衡通过健康检查来探测...

设置白名单

网段),方便您对自己所管理的后端数据节点实例(RDS 或 OceanBase)进行白名单的设置。获取数据访问代理实例所在的 IP(或安全 IP 网段)进入数据访问代理控制台,单击左侧导航栏上的 实例。在右侧的实例列表中,单击指定的数据访问代理...

概述

发布与调用,API 发布者与订阅者分别需要进行以下操作:API 发布者:开发后端系统:在本地完成后端系统的开发,包括 编写 API 服务 等。创建系统集群:在控制台创建一个系统集群,并指向后端系统。创建 API 分组:在控制台创建一个 API ...

无法访问ECS实例中运行的网站

Web服务或后端数据库的检查请确保Web服务和后端数据库处于运行状态。如果未运行,请检查日志并根据日志中的错误信息进行修复。说明: 网站服务器的日志文件名一般为access.log或error.log,详情请参见网站服务器对应的官网网站。网站服务器...

EMR Studio概述

Studio提供箱即用的大数据开发环境,可以快速响应业务需求。您可以将EMR Studio一键关联至EMR集群(EMR on ECS、EMR on ACK)提交作业,并可以在不关闭Notebook的情况下切换计算集群。EMR Studio自动适配Hive、Spark、Flink、Presto和...

技术架构选型

MaxCompute作为整个大数据开发过程中的离线计算引擎。Dataphin则基于OneData方法论——OneModel、OneID、OneService,囊括了数据建模研发、运维中心、监控报警、数据资产等在内的一系列功能。icmsDocProps={'productMethod':'created','...

HoloWeb简介

Holoweb是基于Hologres引擎的可视化数据库管理和开发一站式平台,灵活适用于数据库管理、数据库接入、数据开发数据分析、性能分析和诊断等用户场景。本文为您介绍什么是HoloWeb以及HoloWeb提供的开发和运维功能。背景信息 Hologres是为...

DataStudio概述

DataWorks基于Hologres、MaxCompute等大数据计算引擎,为您提供专业高效、安全可靠的一站式大数据开发与治理平台,自带阿里巴巴数据中台与数据治理最佳实践,赋能各行业数字化转型。Hologres与DataWorks深度兼容,通过可视化方式支持您在...

概述

DataWorks为您提供智能建模、数据清洗、周期调度运维、数据治理等一站式大数据开发管理能力,本文以一个零售电商行业的仓搭建实验为例,为您介绍DataWorks在仓搭建过程中的技术选型、技术流程以及流程实现,帮助您深入了解阿里云...

核心能力

数据资源平台为用户提供了一站式数据资产定义、生产、管理与服务平台,提供企业级数据资产构建能力和一致性使用体验,助力客户快速构建数据智能平台,实现数据资源统一管理,挖掘潜在规律,优化业务决策,让大数据真正的驱动客户业务。...

错误代码

x问题描述:数据访问代理连接后端数据库的连接池已满。排查方法:查看是否有耗时 SQL 影响连接池。如果耗时 SQL 是合理的,则应该是连接池本身设置不合理导致,需在连接参数界面调整连接。ERROR 7022:Get connection from physical ...

集群类型

Iceberg连接器 EMR Studio 是EMR平台上基于开源组件的大数据开发平台,提供一站式的端到端大数据开发体验。EMR Studio概述 快速入门 Zeppelin Spark Flink Hive Presto Shell TPCH和TPCDS JupyterHub 管理JupyterHub 使用Python3 Kernel...

EMR数据开发停止更新公告

作为一站式大数据开发治理平台,DataWorks沉淀阿里巴巴十多年大数据建设方法论,为客户完成从入湖、建模、开发、调度、治理、安全等全链路数据开发治理能力,帮助客户提升数据的应用效率。迁移流程 阿里云DataWorks on EMR团队提供了完善...

分库分表问题

常见分库分表问题列表:分库分表是否支持多个拆分字段分库分表是否支持...分库分表对拆分库表的数量是否有限制数据访问代理不限制拆分库表的数量,但分库分表的整体数量受后端数据节点的规格限制,请根据业务场景合理设计分库分表的拆分数量。

自定义 HINT

全表扫描要避免全表扫描对后端数据库的压力,请尽量减少全表扫描 HINT 使用。如需使用,也请加上合理的查询过滤条件。全表扫描会读取多个表的结果做合并,如果使用 LIMIT start,offset 得到的结果无法保证正确性。所以,全表扫描 HINT 仅...

购买指引

基础研发版(离线&实时):支持离线研发和实时研发场景,可创建生产、开发隔离的双环境项目,适用于数据量较丰富、权限管控较严、有一定大数据开发能力的企业用户。敏捷研发版(离线):支持离线研发场景,可创建生产开发一体化的基础项目...

Lindorm VS ElasticSearch VS Solr

数据集成需要较大开发 数据集成需要较开发 服务能力 可用性SLA 提供SLA保障,单集群99.9%,双集群高可用99.99%。N/A N/A 运维成本 全托管,无需复杂的数据库运维投入。N/A N/A 技术团队 由多名Apache社区PMC&Committer组成的专家队伍提供...

查询报错问题

用户使用的是普通表,且写入大量数据后未执行optimize操作,此时执行SQL会随着插入数据多而变得越来越慢。这是因为分析型数据库MySQL版的实时数据增量部分默认未建索引,因此执行查询时会频繁访问磁盘。为保证查询速度,建议当用户执行过...

如何发布和调用JDBC数据服务

JDBC数据服务是通过JDBC将后端数据库访问能力在CSB实例上发布为服务,发布服务时只能以RESTful开放类型发布。前提条件 创建或申请CSB实例,请参见创建实例。了解如何在CSB实例上发布、订阅和调用RESTful服务的基本使用,请参见快速体验CSB...

容器服务ACK集群故障排查

Server后端数据丢失:API Server将不能再启动。已有的Pod和Service仍然能够正常工作,除非该Pod或Service需要调用ACK的接口,例如Kubernetes Dashboard。需要恢复(或重建)Apiserver的数据才能启动Apiserver。若您创建了快照,在出现问题...

支持服务关联角色的云服务

AliyunServiceRoleForDataworksDataMap 服务关联角色 大数据开发治理平台DataWorks openplatform.dataworks.aliyuncs.com AliyunServiceRoleForDataWorksOpenPlatform 附录:DataWorks服务关联角色 云服务总线CSB csb.aliyuncs....

服务关联角色

权限说明:用于大数据开发治理平台 DataWorks的服务关联角色,DataWorks使用此角色来访问您在OSS中的资源,并进行统计分析。使用该权限的作用:获取带有access_by=DW-OSS-MANAGE标签的存储空间访问权限,包括开通/关闭存储空间清单、开通/...

回收磁盘碎片以提升磁盘利用率

频繁删除数据或删除大量数据后,会产生很多磁盘碎片。本文介绍如何回收磁盘碎片以提升磁盘利用率。前提条件 实例的存储引擎为WiredTiger。背景信息 执行db.runCommand({collStats:}) 命令访问节点时,返回结果有两个关键字:size和...

CLB状态码说明

大后端服务器对客户端请求URI的长度限制。CLB状态码(status)的可能原因: 后端服务器直接返回414,CLB透传后端状态码给客户端。建议排查后端服务器返回414的原因。访问CLB请求的URI长度限制为32 KB,超过32 KB会返回414状态码。建议...

专享实例

API网关通过内网访问函数计算否位于不同Region内的函数计算,API网关通过公网访问函数计算是Mock模拟方式,不访问任何真实后端服务否大数据产品(如DataWorks、Dataphin)在同一Region内,DataWorks、Dataphin创建数据服务否数据库产品(如...

【公告】云虚拟主机数据库管理功能变更通知

尊敬的阿里云用户,云虚拟主机数据库管理功能将于2022年12月28日进行变更。...您可以直接下载DMS的客户端后登录数据库,具体操作,请参见通过数据管理DMS客户登录数据库。说明 数据管理DMS的客户无需登录阿里云账号即可使用。

分库分表

数据库访问代理在后端数据量较数据表水平拆分到各个 RDS 数据库中,后端的这些 RDS 数据库被称为分库,分库中的表被称为分表。拆分后,每个分库负责一份数据的读写操作,从而有效的分散了整体访问压力。在系统扩容时,只需要水平增加...

十分钟迁移自建Harbor至容器镜像服务企业版

如果Harbor的后端存储为IDC数据存储,需要使用OSS的在线迁移服务将IDC中的数据迁移到云上OSS,详细介绍请参见某电商公司本地IDC数据迁移到OSS的案例。如果Harbor的后端存储为阿里云OSS,请跳过此步骤。步骤二:自定义OSS Bucket 容器镜像...

ModifyBackendModel-修改后端模型

修改后端服务在环境上的定义,修改后,使用该后端服务并发布在此环境上的API的后端地址都会批量更新,无需手动发布。调试您可以在OpenAPI Explorer中直接运行该接口,免去您计算签名的困扰。运行成功后,OpenAPI Explorer可以自动生成SDK...

CreateBackendModel-创建后端模型

测试TESTBackendModelDatastring否后端模型数据。{\"ServiceAddress\":\"http://apigateway-echo-redux.alicloudapi.com:8080\"}Descriptionstring否后端模型描述model description返回参数名称类型描述示例值objectBackendModelIdstring...

附录一:运维服务产品清单

BIquickbi大数据大数据搜索与分析日志服务sls大数据大数据搜索与分析开放搜索opensearch大数据大数据搜索与分析Elasticsearchelasticsearch大数据大数据计算大数据计算服务odps大数据大数据计算实时计算Flink版sc大数据大数据计算E-...

Quick BI数据追加大屏上的数据还没有变

问题描述 Quick BI数据追加大屏上的数据还没有变。问题原因 数据集有全局缓存造成数据没有更新。解决方案 关闭全局缓存策略。点击数据集的清除缓存。适用于 Quick BI 环境:公共云专业版4.5

管理数据大屏

数据大屏管理页面,您可以进行以下操作:查看数据大屏移动数据大屏分享数据大屏复制数据大屏转让和重命名协同授权收藏数据大屏删除数据大屏查看数据大屏进入数据大屏。在数据大屏管理页面,找到目标数据大屏并单击图标。进入数据大屏预览...

大数据专家服务

Service)是由阿里云大数据专家基于阿里云多年大数据架构、应用、运维、AI算法建模等最佳实践经验及方法论为用户提供全方位的大数据产品技术、咨询服务及售后专家服务运维保障,帮助用户构建和持续优化的大数据体系架构,赋能技术团队具备...
共有200条 < 1 2 3 4 ... 200 >
跳转至: GO
新人特惠 爆款特惠 最新活动 免费试用