Databricks数据洞察

Databricks数据洞察(简称DDI)是基于ApacheSpark的全托管大数据分析平台。产品内核引擎使用DatabricksRuntime,并针对阿里云平台进行了优化。

数据源概览

本章节主要介绍如何使用Databricks数据洞察完成对多种数据源的读写,以及如何使用Databricks数据洞察完成与其他阿里云产品数据源之间的网络连接。静态数据源Databricks数据洞察支持直接读取静态数据源。CSV文件JSON文件Parquet文件ORC文件...

Python库管理

本文介绍在Databricks数据洞察控制台,执行Spark作业时,如何安装自定义的库或者第三方库。添加库使用阿里云账号登录Databricks数据洞察控制台。在Databricks数据洞察控制台页面,选择所在的地域(Region)。创建的集群将会在对应的地域内...

云数据库新人专场

MySQL年付低至19.9,其它热门产品1元起购!
广告

产品架构

Databricks数据洞察构建在ECS之上,使用阿里云对象存储服务(OSS)为核心存储。本文介绍Databricks数据洞察的产品架构。存储访问加速层方便您可以像操作HDFS上的数据一样访问OSS上的数据。目前,Databricks数据洞察提供了两种执行Spark作业...

阿里云Databricks数据洞察服务等级协议(SLA)

阿里云Databricks数据洞察服务等级协议(SLA)的详情,请参见阿里云Databricks数据洞察服务等级协议。

弹性伸缩概述

本文介绍Databricks数据洞察的弹性伸缩功能,您可以根据业务需求和策略设置伸缩策略。弹性伸缩开启并配置完成后,当业务需求增长时Databricks数据洞察会自动为您增加Task节点以保证计算能力,当业务需求下降时Databricks数据洞察会自动减少...

OSS访问服务

首次使用Databricks数据洞察服务创建集群时,需要使用主账号为Databricks数据洞察服务授权名为AliyunDDIAccessingOSSRole的系统默认角色。同时需要您创建一个系统目录存储Bucket。背景信息关于角色详细信息,具体可以参见RAM角色概览。通过...

访问外部数据

本文介绍如何在Databricks数据洞察实现访问外部数据源的需求。背景信息Databricks数据洞察为了满足您在计算任务里访问您在阿里云上已有的数据,支持通过添加外部数据源的方式,打通您现有其他类型集群的网络。目前支持的数据源类型有三种:...

数据湖元数据管理

Databricks数据洞察DBR7.3,Spark3.0.1,Scala2.12及之后版本,在创建集群选择元数据类型时支持数据湖元数据作为Hive数据库。数据湖元数据是服务化高可用并且可扩展的元数据库,您无需额外购买独立的元数据库,就可以实现多个引擎计算,例如...

服务关联角色

本文介绍Databricks数据洞察服务关联角色AliyunServiceRoleForDDI以及如何删除该角色。背景信息Databricks数据洞察服务关联角色AliyunServiceRoleForDDI是Databricks数据洞察在某些情况下,为了完成自身的某个功能,需要获取其他云服务的...

为RAM用户授权

为确保RAM用户能正常使用Databricks数据洞察控制台的功能,您需要使用云账号登录访问控制RAM(ResourceAccessManagement),授予RAM用户相应的权限。背景信息访问控制RAM是阿里云提供的资源访问控制服务,更多详情请参见什么是访问控制。...

Databricks数据洞察与Delta vs Open-Source Delta ...

本文提供Databricks数据洞察中的DatabricksRuntimeDelta与社区开源版本DeltaLake。DatabricksRuntimevsApacheSpark下表中的feature列表来自Databricks官网...

管理运维中心

在Databricks数据洞察控制台页面,选择所在的地域(Region)。创建的集群将会在对应的地域内,一旦创建后不能修改。在左侧导航栏,单击项目空间。在项目空间页面,单击待操作项目所在行的运行记录。单击上方的概览页签。展示当前项目下的...

集群

Q:如何购买Databricks数据洞察集群请使用阿里云账号进行购买,如需折扣优惠,请提工单或在产品群中联系我们享受折扣优惠。Q:可以使用阿里云子账号创建集群么?可以。但子账号必须通过主账号进行授权方可购买,权限包括:...

产品优势

全托管的Databricks数据洞察大数据分析平台,可以让您从繁杂的环境运维、内核优化等工作中解脱出来,专注于开发Spark作业本身。本文介绍Databricks数据洞察的产品优势。高效稳定产品内核使用Databricks商业版的Runtime和DeltaLake。与社区...

应用场景

Databricks数据洞察(简称DDI)的核心引擎是DatabricksRuntime和DatabricksDeltaLake。商业版引擎的加持下,为您提供了新一代云数仓的解决方案。本文为您介绍Databricks数据洞察适用的典型应用场景。数据湖分析Databricks数据洞察支持计算...

阿里云Databricks数据洞察云产品服务协议

阿里云Databricks数据洞察云产品服务协议,请参见阿里云产品服务协议(通用)。

什么是Databricks数据洞察

Databricks数据洞察(简称DDI)是基于ApacheSpark的全托管大数据分析平台。产品内核引擎使用DatabricksRuntime,并针对阿里云平台进行了优化。DDI为您提供了高效稳定的阿里云Spark服务,您无需关心集群服务,只需专注在Spark作业的开发上。...

查看数据库信息

您在Databricks数据洞察里创建的Spark数据库和数据表,所有集群可以共享,无需重复创建。前提条件已在Notebook中创建数据库表。操作步骤使用阿里云账号登录Databricks数据洞察控制台。在Databricks数据洞察控制台页面,选择所在的地域...

SDK介绍

阿里云Databricks数据洞察SDK包含阿里云JavaSDK公共部分和Databricks数据洞察部分,公共部分依赖aliyun-java-sdk-core,Databricks数据洞察部分依赖aliyun-java-sdk-ddi。我们推荐您采用Maven的方式来管理您的工程。Maven依赖<dependency>...

释放集群

在Databricks数据洞察控制台页面,选择所在的地域(Region)。在左侧导航栏中,单击集群。设置释放。在集群管理页面,单击待释放集群所在行的释放。单击待释放集群的集群ID,在集群基础信息页面,单击集群操作>释放。在弹出的集群管理-释放...

Databricks 数据洞察访问E-MapReduce数据源

本文介绍如何使用阿里云Databricks数据洞察创建的集群去访问外部数据源E-MapReduce,并运行SparkStructuredStreaming作业以消费Kafka数据。前提条件已注册阿里云账号,详情请参见阿里云账号注册流程。已开通E-MapReduce服务。已开通对象...

智能数据助理

智能数据助理(DataBot)是一款通过自然语言对话形式提供智能分析的数据机器人,具备对话式数据查询、增强式分析、智能洞察、简报定制推送、智能预警等能力。用户可以随时随地向智能数据助理提问,进行个性化的数据查询和数据分析。无需...

Quick A+

用户行为洞察分析平台(QuickA+)是阿里云推出的企业级流量统计分析产品,支持多端(APP、小程序、WEB)数据采集,提供通用的多维度用户行为分析模型。借助QuickA+,技术、产品、运营等同学可以快速按需提取和分析流量数据,衡量产品升级和...
来自: 首页 >Quick A+

管理项目

在Databricks数据洞察控制台页面,选择所在的地域(Region)。创建的集群将会在对应的地域内,一旦创建后不能修改。在左侧导航栏,单击项目空间。在项目空间页面,单击待操作项目所在行的作业编辑。单击上方的项目管理页签。在基本信息页面...

管理项目告警

添加联系人登录阿里云Databricks数据洞察控制台在左侧导航栏单击项目空间单击项目空间中的告警在联系人区域,单击添加;在联系人对话框中,输入姓名、手机号码和Email信息。分别单击手机号码和Email所在行的获取验证码。输入获取的手机验证...

数据

本文将解答与数据源相关的问题Q:Databricks数据洞察的支持哪些数据源?目前支持读写阿里云对象存储(OSS)的数据。Q:是否支持当前的DDI集群访问其他集群的HDFS数据?支持访问同账号下的EMRHadoop集群上的HDFS数据。

管理Notebook

在Databricks数据洞察控制台页面,选择所在的地域(Region)。创建的集群将会在对应的地域内,一旦创建后不能修改。在左侧导航栏中,单击Notebook。在Notebook区域,选择待操作的集群。单击Createnewnote。在Createnewnote对话框中,输入...

集群扩容

当Databricks数据洞察集群计算资源或存储资源不足时,您可以对集群进行水平扩展。目前支持Worker实例的扩容。扩容操作步骤登录阿里云Databricks数据洞察控制台。在左侧导航栏的菜单下,单击集群管理选择想要扩容的集群,单击集群ID进入集群...

到期与欠费

本文介绍Databricks数据洞察的停服欠费策略。停服欠费说明计费方式停服或欠费说明包年包月购买的集群资源到期后立即停机。停机后168小时(7天),集群资源会被释放。按量计费暂不支持

云原生仓 AnalyticDB PostgreSQL

分析型数据库PostgreSQL版兼容Greenplum开源数据仓库,为一种采用MPP全并行架构的仓服务,其广泛兼容PostgreSQL/Oracle的语法生态,新一代向量引擎性能超越传统数据库引擎10倍以上,分布式SQL优化器实现复杂查询语句免调优。通过分析型...

DDI PySpark示例及库的使用

本文介绍如何使用阿里云Databricks数据洞察的Notebook进行pyspark开发。前提条件已注册阿里云账号,详情请参见阿里云账号注册流程。已开通Databricks数据洞察服务。已完成云账号的授权,详情请参见角色授权。已使用OSS管理控制台创建非系统...

物联网数据分析

物联网数据分析LA(LinkAnalytics)是阿里云为物联网开发者提供的数据智能分析产品,针对物联网数据特点,提供海量数据的存储备份、资产管理、报表分析和数据服务等能力,帮助企业用户更容易地挖掘物联网数据中的价值。

数据库 ClickHouse

数据库ClickHouse是开源列式数据库ClickHouse的云上托管服务,数据库内核完全兼容开源社区版本。阿里云提供了一套企业级数据库管理平台,增强了数据安全、集群动态扩容、监控运维等企业级功能,与云上其他数据产品打通,可以便捷地构建云...

数据管理 DMS

数据管理DMS是一种集数据管理、结构管理、用户授权、安全审计、数据趋势、数据追踪、BI图表、性能与优化和服务器管理于一体的数据管理服务。

云原生数据湖分析 DLA

云原生数据湖分析(DataLakeAnalytics,DLA)是无服务器(Serverless)化的数据湖分析服务,支持按需与保留资源使用,打造最具性价比的数据湖分析平台;提供一站式的数据湖分析与计算服务,支持ETL、机器学习、流、交互式分析,可以与OSS、...

数据库审计

数据库审计服务,可针对数据库SQL注入、风险操作等数据库风险操作行为进行记录与告警。支持RDS云数据库、ECS自建数据库,为云上数据库提供安全诊断、维护、管理能力。

数据安全中心

数据安全中心DSC(DataSecurityCenter),在满足等保V2.0安全审计及个人信息保护要求的基础上,为您提供敏感数据识别、数据安全审计、数据脱敏、智能异常检测等安全能力,形成一体化的数据安全解决方案。

数据库 Memcache

数据库Memcache版(ApsaraDBforMemcache)是基于内存的缓存服务,支持海量小数据的高速访问。云数据库Memcache可以极大缓解对后端存储的压力,提高网站或应用的响应速度。云数据库Memcache支持Key-Value的数据结构,兼容Memcached协议的...

数据湖构建

阿里云数据湖构建(DataLakeFormation,DLF)是一款全托管的快速帮助用户构建云上数据湖的服务,产品提供了云上数据湖统一的权限管理、数据湖元数据管理和元数据自动抽取能力。
< 1 2 3 4 ... 200 >
共有200页 跳转至: GO

新品推荐

你可能感兴趣

热门推荐

切换为移动版

新人福利专场 阿里云试用中心 企业支持计划 飞天会员助力企业低成本上云 智能财税30天免费试用 云解析DNS新用户首购低至36元/年起 ECS限时升级特惠6.5折