数据重排

在MaxCompute的使用过程中,如果已经积累了大量数据占用了大量存储资源,且已经通过削减数据存储生命周期和删除非必要数据等方式进行了治理,在您的存储预算有限,计算资源还有冗余的情况下,可以考虑使用数据重排方式对存储空间进行优化。...

Iceberg

您可以借助Iceberg快速地在HDFS或者阿里云OSS上构建自己的数据湖存储服务,并借助开源大数据生态的Spark、Flink、Hive和Presto等计算引擎来实现数据湖的分析。核心能力 Apache Iceberg设计初衷是为了解决Hive数仓上云的问题,经过多年迭代...

时序数据库

大数据分析与预测需求:随着数据分析技术的发展,企业和研究机构越来越重视对历史时间序列数据的分析,以进行预测性维护、市场趋势预测、气候模型预测等工作。这要求数据库不仅能够高效存储大规模时间序列数据,还要支持复杂的时间序列分析...

Iceberg概述

您可以借助Iceberg快速地在HDFS或者阿里云OSS上构建自己的数据湖存储服务,并借助开源大数据生态的Spark、Flink、Hive和Presto等计算引擎来实现数据湖的分析。核心能力 Apache Iceberg设计初衷是为了解决Hive数仓上云的问题,经过多年迭代...

我是DBA

解决方案 数据归档概述 数据归档功能支持定时将表的数据归档至其他数据库,同时支持源表数据删除、表空间整理回收等。一键建仓 一键创建实时同步的数据仓库,数据在秒级的延迟下,同步至 AnalyticDB for MySQL 数据库中。数据库迁移 通过...

我是管理员

数据归档概述 数据归档功能定时将表的数据归档至其他数据库,支持源表数据删除、表空间整理回收等功能。数据库迁移 通过创建工单实现数据库迁移、校验和清理的闭环操作。运维管理 通知管理 可根据您的业务需求,订阅不同功能模块的消息...

查看数据表资产详情

收藏后,您也可以在 个人数据中心 查看全量收藏的资产,详情请参见 查看及管理我收藏的资产。编辑:单击 编辑 跳转至目录管理下当前表资产编辑页面,可修改资产的属性信息、使用说明等,详情请参见 编辑资产信息。反馈质量问题:您可以通过...

查看数据表资产详情

收藏后,您也可以在 个人数据中心 查看全量收藏的资产,详情请参见 查看及管理我收藏的资产。去Notebook分析:单击跳转至Notebook页面自动创建对应的Notebook任务,您可以对该资产进行可视化分析,详情请参见 新建Notebook。去Quick BI分析...

功能特性

支持用户通过SQL、PyODPS、Python等进行数据分析、探索,挖掘数据的价值,完成大数据与AI的融合应用开发。Notebook 存储 表是MaxCompute的数据存储单元,MaxCompute中不同类型作业的操作对象(输入、输出)都是表;MaxCompute采用列压缩...

准备环境

步骤五:创建HttpFile数据源 进入 管理中心 数据数据源列表 页面,单击 新增数据源,选择 HttpFile,创建HttpFile数据源,将HttpFile数据源添加至DataWorks当前空间。HttpFile数据源基础信息配置。创建HttpFile数据源,基础信息 配置...

创建ClickHouse数据

若地域不一致,则只能创建为跨地域的数据源,此类数据源无法在数据开发中绑定,即无法在DataWorks的数据开发、运维中心页面中执行对应计算任务,仅可进行数据同步任务。已购买所需的DataWorks资源组并完成资源组配置。ClickHouse仅支持使用...

管理数据源标签

新建数据源管理标签 在Dataphin首页,单击顶部菜单栏 管理中心 数据源管理。在左侧导航栏单击 数据源。在 数据源 页面,单击 管理标签。在 管理数据源标签 对话框,单击 新建标签 按钮创建标签,您可以对标签执行编辑和删除操作。单击 确定...

数据服务令牌管理

管理数据服务令牌 在 DataV-Atlas控制台 中选择 开放中心 数据服务 数据服务令牌,查看服务令牌管理信息。数据服务令牌中提供数据服务地址、令牌的创建和管理功能。数据服务地址 DataV-Atlas提供的服务地址,固定值为 ...

散点层

数据源 单击 配置数据源,可在 设置数据源 面板中修改数据源类型和数据查询代码、预览数据源返回结果以及查看数据响应结果,详情请参见 配置资产数据数据过滤器 数据过滤器提供数据结构转换、筛选和一些简单的计算功能。单击 添加过滤器...

数据服务管理

管理数据服务 在 DataV-Atlas控制台 中选择 开放中心 数据服务 服务列表,进入服务管理页。服务列表中可以完成服务搜索过滤、服务状态改变、服务配置功能。服务搜索过滤 服务搜索:支持通过搜索栏进行服务搜索。服务过滤:支持通过服务标签...

创建MaxCompute数据

数据源创建完成后,您可根据需要执行如下操作:计算任务开发与调度:DataWorks的数据开发与运维中心模块,为您提供MaxCompute任务的开发与调度能力,若您需要基于该MaxCompute数据源进行MaxCompute任务开发,或周期性调度MaxCompute相关...

同步方案概览

数据同步功能帮助您实现数据源之间的数据实时同步,适用于数据异地多活、数据异地灾备、本地数据灾备、跨境数据同步、云BI及实时数据仓库等多种业务场景。本文将介绍数据同步功能支持的数据库、同步类型和同步拓扑。背景信息 同步类型说明 ...

数据清理

背景信息 ODC 支持在源数据库中的数据归档到目标数据库后,删除源数据库中的数据,以提高数据库查询性能,降低在线存储成本。本文档以新建数据清理为例,介绍如何在 ODC 中清理数据库 test2 中的表 employee。说明 文中所使用的均为示例...

添加DataV Atlas地理数据服务

您可登录 DataV Atlas控制台,在 开放中心 数据服务 数据服务令牌 中获取服务地址和访问令牌。访问令牌 配置信息填写完成后,单击 确定,完成数据源的添加。新添加的数据源会自动显示在数据源列表中。使用DataV Atlas数据服务 下面将使用...

创建Redis数据

操作步骤 在Dataphin首页,单击顶部菜单栏 管理中心 数据源管理。在 数据源 页面,单击+新建数据源。在 新建数据源 对话框的 NoSQL 区域,选择 Redis。如果您最近使用过Redis,也可以在 最近使用 区域选择Redis。同时,您也可以在搜索框中...

创建Redis数据

操作步骤 在Dataphin首页,单击顶部菜单栏 管理中心 数据源管理。在 数据源 页面,单击+新建数据源。在 新建数据源 对话框的 NoSQL 区域,选择 Redis。如果您最近使用过Redis,也可以在 最近使用 区域选择Redis。同时,您也可以在搜索框中...

创建AnalyticDB for PostgreSQL数据

进行数据同步:DataWorks的数据集成模块为您提供读取和写入数据至AnalyticDB for PostgreSQL的能力,您可将其他数据源的数据同步至当前AnalyticDB for PostgreSQL数据源,或将当前AnalyticDB for PostgreSQL数据源的数据同步至其他数据源。...

创建AnalyticDB for MySQL3.0数据

进行数据同步:DataWorks的数据集成模块为您提供读取和写入数据至AnalyticDB for MySQL3.0的能力,您可将其他数据源的数据同步至当前AnalyticDB for MySQL3.0数据源,或将当前AnalyticDB for MySQL3.0数据源的数据同步至其他数据源。...

创建HDFS数据

操作步骤 在Dataphin首页,单击顶部菜单栏 管理中心 数据源管理。在 数据源 页面,单击+新建数据源。在 新建数据源 对话框的 文件 区域,选择 HDFS。如果您最近使用过HDFS,也可以在 最近使用 区域选择HDFS。同时,您也可以在搜索框中,...

审计日志设置

若无所需数据源,您可以单击 前往创建,跳转至 管理中心 数据源管理 的新建数据源对话框进行创建。说明 若选中的数据源未配置数据源编码,后续可能无法通过JDBC使用已采集的审计日志。如果需要配置数据源编码,详情请参见 Dataphin支持的...

我的数据

查看和管理权限 数据地图模块的 我的数据 权限管理 功能已迁移至 安全中心 数据访问控制 权限审批记录 页面,详情可参见:数据访问控制。批量转交表 当您需要将表转交给工作空间内其他成员使用时,您可以使用转交操作。方式一:控制台转交...

DataWorks On CDP/CDH使用说明

任务调度属性配置概述 任务调试流程 发布任务 批量操作 开发流程管控 运维中心 运维中心是一站式大数据运维、监控平台,支持实时查看任务的运行状态,并为异常任务提供智能诊断、重跑等运维操作。它提供智能基线功能,帮助您解决重要任务...

创建FTP数据

操作步骤 在Dataphin首页的顶部菜单栏中,选择 管理中心 数据源管理。在 数据源 页面,单击+新建数据源。在 新建数据源 对话框的 文件 区域,选择 FTP。如果您最近使用过FTP,也可以在 最近使用 区域选择FTP。同时,您也可以在搜索框中输入...

创建FTP数据

操作步骤 在Dataphin首页的顶部菜单栏中,选择 管理中心 数据源管理。在 数据源 页面,单击+新建数据源。在 新建数据源 对话框的 文件 区域,选择 FTP。如果您最近使用过FTP,也可以在 最近使用 区域选择FTP。同时,您也可以在搜索框中输入...

数据归档

本文档旨在介绍如何通过提交数据归档工单实现归档数据。背景信息 ODC 支持定时将源数据库中的表数据归档至其它目标数据库中,以解决因线上数据增多影响查询性能与业务运作的问题。本文档以新建数据归档为例,介绍如何在 ODC 中将同一项目的...

DataWorks On MaxCompute使用说明

任务调度属性配置概述 任务调试流程 发布任务 批量操作 开发流程管控 运维中心 运维中心是一站式大数据运维、监控平台,支持实时查看任务的运行状态,并为异常任务提供智能诊断、重跑等运维操作。它提供智能基线功能,帮助您解决重要任务...

DataWorks On Hologres使用说明

任务调度属性配置概述 任务调试流程 发布任务 批量操作 开发流程管控 运维中心 运维中心是一站式大数据运维、监控平台,支持实时查看任务的运行状态,并为异常任务提供智能诊断、重跑等运维操作。它提供智能基线功能,帮助您解决重要任务...

DataWorks On EMR使用说明

任务调度属性配置概述 任务调试流程 发布任务 批量操作 开发流程管控 运维中心 运维中心是一站式大数据运维、监控平台,支持实时查看任务的运行状态,并为异常任务提供智能诊断、重跑等运维操作。它提供智能基线功能,帮助您解决重要任务...

JindoFS实战演示

使用Checksum迁移HDFS数据到OSS 使用Checksum迁移HDFS数据到OSS 2021-05-11 通过Checksum算法,你可以在大数据迁移场景中校验数据的完整性、对比数据差异并实现增量迁移。本视频为您介绍如何使用Jindo Distcp迁移HDFS数据到OSS,以及在迁移...

MySQL整库实时同步至SelectDB

数据集成提供数据库最大连接数,并发度等配置的默认值,如果需要对任务做精细化配置,达到自定义同步需求,您可对参数值进行修改,例如通过最大连接数上限限制,避免当前同步方案对数据库造成过的压力从而影响生产。说明 请在完全了解...

查看运维中心操作记录

进入操作历史 登录 DataWorks控制台,切换至目标地域后,单击左侧导航栏的 数据开发与运维 运维中心,在下拉框中选择对应工作空间后单击 进入运维中心。单击左侧导航栏中的 操作历史。查看操作历史 在操作历史页面,您可根据需要查看历史...

什么是数据灾备中心

数据灾备中心BDRC(Backup and Disaster Recovery Center)作为阿里云企业灾备管理服务,通过智能巡检,发现云上数据资源,展示数据资源保护状态并建议修复方案,使用策略中心数据资源进行集中化管理,同时提供定制化报表,帮助客户简单...

DataWorks on EMR数据安全方案

数据安全能力:任务管理 DataWorks提供了大数据开发运维等能力,其中工作空间、安全中心等功能模块可实现对大数据计算任务的管理。工作空间:通过DataWorks的工作空间规划可以实现工作空间的人员管理、设置大数据作业可见性和可运维性。...

使用限制

本文介绍 数据安全中心 DSC(Data Security Center)实例资源规格的限制说明。免费规格 Redis授权不占用已授权额度,当前仅支持安全基线检查。授权额度使用说明,请参见 授权数管理。购买 DSC 计费版服务后,会提供相应的免费资源。详细...

通过识别任务扫描敏感数据

扫描说明 扫描限制 为了避免数据源中文件或表过大影响整体扫描进度,数据安全中心对可以扫描的文件大小或表的字段大小做了限制,请您在进行敏感数据扫描前了解以下规则:结构化数据(RDS MySQL、RDS PostgreSQL、PolarDB等)、大数据...
共有200条 < 1 2 3 4 ... 200 >
跳转至: GO
产品推荐
云服务器 安全管家服务 安全中心
这些文档可能帮助您
云原生大数据计算服务 MaxCompute 云数据库 RDS 云数据库 Tair(兼容 Redis®) 大模型服务平台百炼 人工智能平台 PAI 弹性公网IP
新人特惠 爆款特惠 最新活动 免费试用