数据和计算的价值不可估量!一份影响DT经济的报告(PDF)

方方面面都将因此而改变。&本次大会主题为“HELLO,DTWORLD”,意指通过云 计算 数据技术为企业和公众敲开DT世界的大门。 于大会《创业 生态》分论坛上发布的这份报告,希望能够帮助更多从业者打开DT入口 ...

大数据实时计算性能调优服务 - 支持与服务

1.项目背景、目标 范围、服务价款1.1.项目背景交付意义:从市场来看,实时 计算场景已经越来越受到企业的重视,北京电力公司开始进行实时 数据中台建设;国家电网各 网省开始用采实时方案搭建 ...

亿海蓝-航运大数据的可视化案例 - 云原生多模数据库 Lindorm

让我们节省了不少运维投入,更多精力投入到业务实现上。 ” ——亿海蓝CTO客户简介亿海蓝是国内领先的航运 数据公司,做为国内最 的AIS 数据服务运营商,发展目标是通过 数据技术推动全球航运物流 互联网的融合,加速 ...

阿里经济体大数据平台的建设与思考

群的资源规划问题,而是阿里巴巴整个 经济体的资源规划问题。因为不同负载对SLA要求不同,因此需要同时满足隔离和共享之间的矛盾?此外, 数据 计算强依赖存储,这种情况下需要推的就是存储和 计算分离的架构,而在存储 计算分离的背后是极高的网络带宽挑战。资源利用率优化 ...

《深入理解大数据:大数据处理与编程实践》一一第3章 大数据存储——分布式文件系统HDFS

###第3章 数据存储—— 分布式文件系统HDFS 数据处理面临的第一个问题是,如何有效存储规模巨大的 数据?对于 数据处理应用来说,依靠集中式的物理服务器来保存 数据是不现实的,容量也好, 数据传输速度也好,都会成为瓶颈。要实现 ...

解决方案与客户案例 - 云原生分布式数据库 PolarDB-X

服务和普通服务提供相应能力支持。 数据数据层解决数据库跨地域的部署 同步问题,并在灾难发生时对流量切换动作提供相应的 数据 ...

大数据与机器学习:实践方法与行业案例.2.2 数据缓冲区

统一管理和分发。比如,在一个多部门、跨地域的企业中,不同地区、不同部门的 数据文件之间的交互,如果没有 数据缓冲区的统一收集 分发,那将会形成一个复杂的交叉网络。表2-2列举了 数据缓冲区的一些主要优点,本书主要专注于系统解耦,并基于 数据缓冲区完成原始 数据的 ...

大数据与机器学习:实践方法与行业案例1.1 数据的基本形态

,数据库领域的专业术语简直让人抓狂,非要搞得那么高深吗? 可不必。 数据科学家是 数据的应用者,以最 限度来提炼 数据价值为目的,不必像 数据仓库开发者那样对 数据的存储、结构以及 数据仓库的内生技术一清二楚,但应该站在找到 数据、拼接 数据、使用 数据的角度,大体了解 数据的 ...

《大数据云计算时代 数据中心经典案例赏析》——导读

前言 数据中心拥有许多复杂的 计算设备、大型空调和复杂的电力系统,它们是互联网的动力所在,能够提高生产力并驱动全球 经济发展。它们总是处于技术最前沿——采用超现代技术的机房支持千万亿次处理和百万瓦特的电力容量 ...

大数据与机器学习:实践方法与行业案例.1.2数据平台

这两个问题。&图1-8  数据平台的基础: 分布式 分布式 扩展性密不可分,当存储和 计算能力不足时,显而易见的方案就是增加集群中的机器,在存储价格和CPU价格日益下降而人力成本日益上涨的今天,这比从优化传统数据库系统着手要简单高效,且成本更 ...

大数据workshop:《云数据·大计算:海量日志数据分析与应用》之《社交数据分析:好友推荐》篇

本手册为云栖大会Workshop《云 计算· 数据:海量日志 数据分析 应用》的《社交 数据分析:好友推荐》篇而准备。主要阐述如何在 数据开发套件中使用MR实现好友推荐。## 数据workshop:《云 数据· 计算:海量日志 数据分析 ...

大数据与机器学习:实践方法与行业案例.2.1 数据闭环

。—赫伯特·西蒙 数据存在于生产环境、 数据缓冲区以及分析环境的各个节点中,并且由各种技术手段支撑着 数据的存储和 计算。通常,在企业中,生产环境由开发部门负责,而分析环境和 数据缓冲区则由 数据部门负责,物理环境分离以及管理上的隔离会让人们产生一 ...

《数据科学R语言实践:面向计算推理与问题求解的案例研究法》一一1.3 数据清洗和建立用于分析的数据表示

本节书摘来自华章计算机《 数据科学R语言实践:面向 计算推理 问题求解的 案例研究法》一书中的第1章,第1.3节,作者:[美] 德博拉·诺兰(Deborah Nolan)  邓肯·坦普·朗(Duncan ...

大数据与机器学习:实践方法与行业案例.1.1 数据的基本形态

数据 平台篇(Data & Infrastructures)迟序之数,非出神怪,有形可检,有数可推。—祖冲之数学是知识的工具,亦是其他知识工具的泉源。所有研究顺序和度量的科学均和数学有关。—笛卡 ...

2017杭州·云栖大会---大数据workshop:《云数据·大计算:海量日志数据分析与应用》之《数据采集:日志数据上传》篇

数据workshop:《云 数据· 计算:海量日志 数据分析 应用》之《 数据采集:日志 数据上传》篇实验背景介绍了解更多2017杭州·云栖大会 TechInsight & Workshop.本手册为云栖 ...

大数据workshop:《云数据·大计算:海量日志数据分析与应用》之《数据采集:日志数据上传》篇

本手册为云栖大会Workshop《云 计算· 数据:海量日志 数据分析 应用》的《 数据采集:日志 数据上传》篇而准备。主要为保障各位学员在workshop当天能够顺畅进行动手实操,那么本节为学员掌握阿里云 数据采集的操作和使用。## 数据 ...

大数据与机器学习:实践方法与行业案例.3.1 数据缓冲区的基本规则

第3章实战:打造 数据闭环道生一,一生二,二生三,三生万物。万物负阴而抱阳,冲气以为和。—老子《道德经》你不能两次踏进同一条河流,因为新的水不断地流过你的身旁。—柏拉图《泰阿泰德》前面两章已经介绍了 数据闭环的 ...

大数据与机器学习:实践方法与行业案例.1.3 应用系统

逻辑),都会产生交易相关的各种 数据,这些交易 数据的产生是一个从无到有的过程。 数据驱动的应用系统,其主要特点在于业务逻辑需要作用于基础 数据,才能产生新的 数据数据驱动的应用系统一般需要 数据模型、 数据标签等结合使用,这些 数据模型及 数据标签均基于已有的历史 ...

大数据与机器学习:实践方法与行业案例.3.2 自动加载的流程

是关系型数据库,也可以是 数据平台的Hive表。加载文件进程需要一些附加信息来确定文件的加载方式(增量或者全量)、对应的目标表信息等。这些信息通过配置表提供,将在数据库设计章节详述。最后,加载文件进程调用批量导入命令(参阅2.2.4节)将 数据文件 ...

大数据与机器学习:实践方法与行业案例.2.5 监控和预警

2.5 监控和预警监控和预警存在于 数据闭环的各个阶段,在所有的自动执行环节均可以植入监控和预警点。前期对ETL所做的规范,现在是体现其应用价值的时候了。可以利用这些满足规范的日志记录进行自动监控和预警。如果有专职的运维人员负责作业的运行监控,使用 ...

【转载】大数据workshop:《云数据·大计算:海量日志数据分析与应用》

本手册为云栖大会Workshop之《云 计算· 数据:海量日志 数据分析 应用》场的前提准备条件所需。主要为保障各位学员在workshop当天能够顺畅进行动手实操,那么本场需要各位学员再参加之前确保自己云账号已免费开通MaxCompute ...

大数据与机器学习:实践方法与行业案例.2.5 监控和预警

2.5 监控和预警监控和预警存在于 数据闭环的各个阶段,在所有的自动执行环节均可以植入监控和预警点。前期对ETL所做的规范,现在是体现其应用价值的时候了。可以利用这些满足规范的日志记录进行自动监控和预警。如果有专职的运维人员负责作业的运行监控,使用 ...

大数据与机器学习:实践方法与行业案例.2.3 ETL

计算结果存储在对应的结果表中。&图2-10 ETL作业示例图2-10中的ETL作业按照预定的顺序将多个作业项串联起来,完成一个完整的 数据加载和统计过程,该过程的每个步骤作为一个作业项独立存在,仅当上游的作业项执行成功后,才开始下一个 ...

大数据与机器学习:实践方法与行业案例.1.4 本章小结

1.4 本章小结首先,本章介绍了 数据的基本形态以及 之相关的各种 数据平台,从 数据分析和应用角度来看, 数据的基本形态包括生产 数据、原始 数据和分析 数据三种,它们分别对应于三种环境,即生产环境、 数据缓冲区和分析环境。其次,本章着重介绍了分析环境 ...

大数据与机器学习:实践方法与行业案例.3.5 本章小结

3.5 本章小结本章使用Java实现了 数据闭环中的关键环节,使 数据能够自动且高效地批量导入分析环境。为了便于程序实现,首先定义了 数据缓冲区的文件存储规则、命名规则和清理规则。相对于代码上的实现,深刻理解这些方法论则更为重要。依据 数据缓冲区 ...

2017杭州·云栖大会---大数据workshop:《云数据·大计算:海量日志数据分析与应用》之《数据采集:日志数据上传》篇

数据workshop:《云 数据· 计算:海量日志 数据分析 应用》之《 数据采集:日志 数据上传》篇实验背景介绍了解更多2017杭州·云栖大会 TechInsight & Workshop.本手册为云栖 ...

大数据workshop:《云数据·大计算:海量日志数据分析与应用》之《数据采集:日志数据上传》篇

本手册为云栖大会Workshop《云 计算· 数据:海量日志 数据分析 应用》的《 数据采集:日志 数据上传》篇而准备。主要为保障各位学员在workshop当天能够顺畅进行动手实操,那么本节为学员掌握阿里云 数据采集的操作和使用。## 数据 ...

《深入理解大数据:大数据处理与编程实践》一一2.2 单机和单机伪分布式Hadoop系统安装基本步骤

本节书摘来自华章计算机《深入理解 数据 数据处理 编程实践》一书中的第2章,第2.2节,作者 主 编:黄宜华(南京大学)副主编:苗凯翔(英特尔公司),更多章节内容可以访问云栖社区“华章计算机”公众号查看。 ###2.2 ...

《深入理解大数据:大数据处理与编程实践》一一2.3 集群分布式Hadoop系统安装基本步骤

本节书摘来自华章计算机《深入理解 数据 数据处理 编程实践》一书中的第2章,第2.节,作者 主 编:黄宜华(南京大学)副主编:苗凯翔(英特尔公司),更多章节内容可以访问云栖社区“华章计算机”公众号查看。 ###2.3 ...

RDS搭配大数据计算服务实现大规模数据计算 - 云数据库 RDS

本文介绍RDS如何结合 数据 计算服务使用。 开放 数据处理服务又称为 数据 计算服务(MaxCompute ...

大数据计算服务MaxCompute行业开发应用案例

MaxCompute(原ODPS)是一种安全可靠、高效能、低成本、从GB到EB级别的 数据 计算服务。能够快速解决用户海量 数据计算问题,有效降低企业 数据 计算平台的总体拥有成本,提升 数据应用开发效率,保障 数据的云上安全。本课程聚焦数字化营销场景 ...

《数据科学R语言实践:面向计算推理与问题求解的案例研究法》一一1.2 原始数据

本节书摘来自华章计算机《 数据科学R语言实践:面向 计算推理 问题求解的 案例研究法》一书中的第1章,第1.2节,作者:[美] 德博拉·诺兰(Deborah Nolan)  邓肯·坦普·朗(Duncan Temple ...

大数据与机器学习:实践方法与行业案例导读

,有的讲解理论,有的介绍方法,有的传播理念。但是, 数据从业人员(如 数据工程师、 数据分析师、业务分析师、算法设计师等)应该掌握哪些知识 技能,如何应用 数据解决现实的业务问题呢?恐怕最能给出答案的还是实际的 数据从业者。为此,三位作者基于近10年的 数据分析 应用 ...

大数据workshop:《云数据·大计算:海量日志数据分析与应用》之《数据分析展现:可视化报表及嵌入应用》篇

本手册为云栖大会Workshop《云 计算· 数据:海量日志 数据分析 应用》的《 数据分析展现:可视化报表及嵌入应用》篇而准备。主要阐述如何使用Quick BI制作报表,将前面几个实验处理分析得来的 数据进行有效的展现和洞察。## 数据 ...

大数据与机器学习:实践方法与行业案例.3.3 自动加载程序的数据库设计

载配置信息表用于存储 数据文件到对应的数据库表的加载方式等相关信息,通过主键id file_settings表中的load_config_id关联,主要内容如表3-5所示。表3-5 加载配置信息表(load_config)字 段 数据类型 注 释 ...

大数据与机器学习:实践方法与行业案例3.4 自动加载程序的多线程实现

”(全量)加载方式,则先将历史 数据删除,然后将新的 数据文件复制到hdfs目录即可。3.4.4 LoadToOracleLoadToOracle是自动加载程序在Oracle数据库上的实现。 Hive 数据仓库的不同之处在于,Oracle数据库(以及 ...

大数据与机器学习:实践方法与行业案例.2.6 本章小结

数据缓冲区,可以实现系统解耦,让 数据闭环具备良好的扩展性,让公司组织间职责更加分明,使 数据环境更加安全等。 数据缓冲区中涉及的 数据批量导出/导入技术,需要使用到各个RDMS系统的批量操作命令。另外在 数据平台中,需要使用hadoop shell和hive ...

《大数据存储:MongoDB实战指南》一1.3 大数据与云计算

:MongoDB实战指南从技术上看, 数据 计算的关系就像一枚硬币的正反面一样密不可分。 数据必然无法用单台的计算机进行处理,必须采用 分布式 计算架构。它的特色在于对海量 数据的挖掘,但它必须依托云 计算分布式处理,也就说 数据就像做饭用的一堆原材料,云 计算 ...

《深入理解大数据:大数据处理与编程实践》一一1.1 并行计算技术简介

节点 计算同步控制、Cache的一致性、 数据访问/通信的时间延迟等技术问题。3.? 分布式 数据 文件管理并行 计算的一个重要问题是,在大规模集群环境下,如何解决大规模 数据的存储和访问管理问题。在大规模集群环境下,解决 数据分布存储管理和访问问题非常关键 ...

《大数据存储:MongoDB实战指南》一第1章 大数据与云计算

本节书摘来异步社区《 数据存储:MongoDB实战指南》一书中的第1章,第1.1节,作者: 郭远威 , 彭文波 责编: 陈冀康,更多章节内容可以访问云栖社区“异步社区”公众号查看。###第1章 数据 计算 数据存储:MongoDB实战指南本文仅用于学习和交流目的,不代表异步社区观点。非商业转载请注明作译者、出处,并保留本文的原始链接。 ...
< 1 2 3 4 ... 2691 >
跳转至: GO
产品推荐
轻量应用服务器 块存储 云数据库PolarDB 视频点播 消息队列MQ 文件存储 视频直播 日志服务 物联网平台
这些文档可能帮助您
CREATE TABLE 搭建FTP服务器 注册和登录阿里云账号 地域与网络连通性 PolarDB-X 2.0定价 什么是PolarDB
新人福利专场 阿里云试用中心 企业支持计划 飞天会员助力企业低成本上云 智能财税30天免费试用 云解析DNS新用户首购低至36元/年起 ECS限时升级特惠6.5折