开发者中心_开发平台_开发工具_开发软件_快速开发服务...

阿里巴巴去Oracle数据迁移同步工具(全量+增GitHub-alibaba/yugong:阿里巴巴去Oracle数据迁移同步工具 tair tair A distributed key-value storage system developed by Taobao.com Wasp Wasp megastore-like system...
来自: 阿里云 > 网站

BDTC2015-Pivotal-姚延栋-开源大...IT大本营-开发者论坛

数据库迁移,从自建数据库迁移到rds怎么.相关帖子 关于租户网络自管理(就是自己弄一个面板管.devstack最新变动为什么删除了re. 怎么确认hadoop HA环境的mapr.基于Redis+Srcache_ngin.手把手教你用Python抓取AWS的...
来自: 阿里云 > 网站

开放数据处理服务ODPS-阿里云计算开发者社区

大数据“零基础”系列课程:将Hadoop数据迁移到阿里云数加MaxCompute(.海清 发表于 2016-12-06 最后回复 悠索工作室 2017-05-17 浏览 9112 回复 7[分享]MaxCompute产品售前咨询群 虎子跑12 发表于 2017-05-02 最后...
来自: 阿里云 > 网站

阿里云高校特惠,助力学生创业梦!0元体验,快速入门云计算!

建个炫酷的简历网页,制作一个浪漫的表白网页,打造个人专属网盘,多种动手场景应用免费学!!!
广告

Flume采集网站日志MaxCompute

返回 数加体验馆首页 Flume采集网站日志MaxCompute 本教程通过Flume 离线采集...大数据开发套件 Hadoop数据表迁移到MaxCompute 帮助企业实现数据从hadoop迁移到数加MaxCompute。立即体验 大数据开发套件 MaxCompute
来自: 阿里云 > 网站

云数据库ApsaraDB_产品总览

可视化工具 提供云上数据全量、增量迁移服务,云上数据开发、管理等相关工具服务 数据传输服务 数据迁移、订阅、实时同步服务 以“结构化数据”为中心,在同构、异构的数据库之间完成数据迁移 了解更多产品信息>>...
来自: 阿里云 > 网站

大数据分析与处理办法解读_大数据处理-阿里云

把海量数据从Hadoop集群迁移到ODPS的基本思路是:实现一个Map Only程序,在Hadoop的Mapper中读取Hadoop源数据,调用ODPS SDK写ODPS中。执行逻辑大致如图5所示。Hadoop MapReduce程序的执行逻辑主要包含两个阶段:...
来自: 阿里云 > 网站

专有云解决方案_阿里云

大数据开发套件提供可视化开发界面、离线任务调度运维、快速数据集成、多人协同工作等功能,为您提供一个高效、安全的离线数据开发环境。并且拥有强大的Open API为数据应用开发者提供良好的再创作生态。...
来自: 阿里云 > 网站

云栖大会议程_2016杭州大会资料介绍_大会专场内容ppt_...

“互联网+”智慧交通峰会,将邀请政府机构合作伙伴,从产业现状趋势、从行业痛点解决方案等角度, 共同探讨基于实名、信用、大数据等能力的智慧交通服务产业升级解决方案,共话在新的历史机遇下中国交通服务产业...
来自: 阿里云 > 网站

sqoop数据迁移(基于Hadoop和关系数据库服务器之间...

(2):导入数据:MySQL,Oracle导入数据到Hadoop的HDFS、HIVE、HBASE等数据存储系统;(3):导出数据:从Hadoop的文件系统中导出数据关系数据库 (4):工作机制: 将导入或导出命令翻译成mapreduce程序来实现;...
来自: 阿里云 > 网站

cdh5.3.10_hadoop环境迁移之主机IP修改

cdh5.3.10_hadoop环境迁移 主机迁移Hadoop集群调整:1、修改/etc/hosts(三台主机均需要修改)修改前: [root@hadoop-master~]#cat/etc/hosts 127.0.0.1 localhost.localdomain localhost.localdomain localhost4 ...
来自: 阿里云 > 网站

从火种核心 浅析Hadoop大数据用户演变

所以我预测,最终这些前几代的用户将废除其先前的努力,迁移到Hadoop发行版,这将帮助他们专注于自己业务,比如成功地开发数据驱动的产品和服务,而选择Hadoop的供应商将确保他们总是有这样做所需的数据中心。...
来自: 阿里云 > 网站

hadoop(2):安装&使用 sqoop

业务数据需要迁移到hadoop上面进行计算,同时,将计算结果放mysql数据库中进行统计显示。数据可以方便的流动。参考: http://segmentfault.com/a/1190000002532293 写的参数很详细。(function() ').addClass('pre-...
来自: 阿里云 > 网站

Docker生态会重蹈Hadoop的覆辙吗?

开发者能够用Docker,开发者要一个开发环境,总会涉及种种资源,比如数据库,比如消息中间件,去装这些东西不是开发人员的技能,是运维人员的技能。而用Docker去Pull一个mySQL镜像,或是Tomcat镜像,或是RabbitMQ...
来自: 阿里云 > 网站

Docker生态会重蹈Hadoop的覆辙吗?

1、开发者能够用Docker,开发者要一个开发环境,总会涉及种种资源,比如数据库,比如消息中间件,去装这些东西不是开发人员的技能,是运维人员的技能。而用Docker去Pull一个mySQL镜像,或是Tomcat镜像,或是...
来自: 阿里云 > 网站

将一个电子表格迁移到MySQL和Spark2.0.1上

我们的目标是展示怎样把数据迁移到Hadoop HDFS并且直接地分析它和使用最新的在一个 Jupyter 笔记本中带有PySpark 2.0.1的 ML工具。许多有趣的事实可以通过子集的结合被推断出来,过滤并且聚合这些信息,并且也在文档...
来自: 阿里云 > 网站

Hadoop 如何推动现代数据仓库技术的变革

各个行业的用户逐渐开始基于这一新的技术来开发全新的应用,甚至将原先的应用向Hadoop之上进行迁移。未来,Hadoop会成为企业数据中心的核心。经过这10年的发展,今年开始进入一个战略转折点(strategic inflection ...
来自: 阿里云 > 网站

Oracle预测:2017年大数据的10大可能

与将数据迁移到云相比,把云带数据中看起来将是一个前瞻性的变化,特定于数据需求的云策略将是至关重要的。3.数据驱动应用 大数据技术以前因在信息技术领域的影响而闻名。然而,最近的趋势证实了大数据分析在企业...
来自: 阿里云 > 网站

数据迁移类测试策略

适用范围:可支持:支持oracle和mysql,分库分表,实时同步,数据比对 不支持:涉及外部依赖,迁移规则非常复杂的数据 性能情况: 没有对愚公进行压测,性能情况参考以下的例子 例子:迁移一个1000万的表。16个...
来自: 阿里云 > 网站

对话Hadoop之父Doug Cutting|大数据和开源的未来

还有另一个问题,我们需要考虑得非常清楚,通常我们迁移大数据系统是非常昂贵的,所以我们在选择一个云的运营商之前,首先要意识,这个运营商给我们提供的技术是不是我们需要的。一旦需要在这个平台上进行转换,...
来自: 阿里云 > 网站

技术前沿:Oracle 18c 最新特性概览

使用大数据SQL轻松分析Hadoop中保存的数据 大数据设备 Oracle18c:外部表的列式存储 将nologged数据自动传输standby 更多机器学习算法 多态表函数 在线修改/合并分区表 近似查询改进 原文发布时间为:2017-11-1 ...
来自: 阿里云 > 网站

Oracle NoSQL:一个神秘莫测的矛盾体?

Oracle关于NoSQL的故事至少可以追溯2006年,当时它买下了一家名为Sleepycat Software的公司,该公司将开源软件Berkeley DB键值数据存储进行了商业化。而Oracle已经加入原来的Sleepycat软件,并对开源软件...
来自: 阿里云 > 网站

登月1号:支付宝演绎空中升级绝技

谈到这段历程,参与登月1号的技术保障部技术专家大舞给出一个形象的比喻:“从Hadoop到ODPS,相当于在飞机飞行的过程中,将乘客从不同航空公司生产的不同型号的飞机之间实现搬迁,中途却不能让乘客有任何感觉。...
来自: 阿里云 > 网站

《Docker——容器与容器云(第2版)》docker从小白...

wokerstation,一款比docker耗内存和启动时间缓慢的虚拟机软件,接着就是按照官网文档开始shell执行安装部署hadoop3节点的环境,这对于学自动化的学生当然不甘心这么机械化操作和手工部署,后来也尝试了oracle ...
来自: 阿里云 > 网站

Oracle 12.2新特性掌上手册-第七卷 Big Data and Data...

外部分区表提供了将分区的Hive表映射到Oracle数据库生态系统以及在基于Hadoop分布式文件系统(HDFS)的数据存储之上提供声明分区的功能。作用 Oracle数据库基于外部HDFS的数据存储功能,使得数据库分区能够实现更高...
来自: 阿里云 > 网站

大数据行业图谱之一:底层基础平台公司能做多大?

天云大数据的业务在向上层迁移,除了提供Hadoop发行版,目前也涉足复杂神经网络等算法技术;红象云腾将业务下沉,基于芯片层提升系统处理数据的效率。当前,银行等大型企业纷纷喊出“去IOE”(IBM小型机、Oracle数据...
来自: 阿里云 > 网站

大数据行业图谱之(1):底层基础平台公司能做多大?

天云大数据的业务在向上层迁移,除了提供Hadoop发行版,目前也涉足复杂神经网络等算法技术;红象云腾将业务下沉,基于芯片层提升系统处理数据的效率。当前,银行等大型企业纷纷喊出“去IOE”(IBM小型机、Oracle数据库...
来自: 阿里云 > 网站

大数据行业图谱之(1):底层基础平台公司能做多大?

天云大数据的业务在向上层迁移,除了提供Hadoop发行版,目前也涉足复杂神经网络等算法技术;红象云腾将业务下沉,基于芯片层提升系统处理数据的效率。当前,银行等大型企业纷纷喊出“去IOE”(IBM小型机、Oracle数据库...
来自: 阿里云 > 网站

任务关键型HANA 2:SAP新增高可用性功能

本周在巴塞罗那举行的SAP TechEd大会上,SAP宣布发布HANA ...Altiscale有专门的Hadoop云托管基础设施,这次收购可以让SAP把HANA与自己的Hadoop部署结合起来,极大地扩展HANA的分析价值定位。本文转自d1net(转载)*
来自: 阿里云 > 网站

数据库管理员的第一本书》——1.7节DBMS版本迁移

应用程序服务器,如WebSphere、JBoss、Oracle Application Server和EAServer;消息队列软件,如MQSeries和MSMQ;网络软件和协议,如SNA、VTAM和TCP/IP;网络硬件,如网桥、路由器、集线器和布线;多种操作系统,如...
来自: 阿里云 > 网站

MaxCompute/DataWorks 数据集成与开发实践

365在线协作一样,通过大家协同地编辑模型然后实现的一键式发布提交到开发环境或者生产环境,这样就极大地提高了效率。数据血缘分析 下图所展现的是数据开发之前,在进行需求分析的时候的数据血缘分析。比如对于一个...
来自: 阿里云 > 网站

任务关键型HANA 2:SAP新增高可用性功能

Altiscale有专门的Hadoop云托管基础设施,这次收购可以让SAP把HANA与自己的Hadoop部署结合起来,极大地扩展HANA的分析价值定位。原文发布时间为:2016年11月9日&本文来自云栖社区合作伙伴至顶网,了解相关信息可以...
来自: 阿里云 > 网站

安全、稳定、可靠甲骨文定义PaaS新时代

Machine是目前市场上最新的云平台产品,也是第一个由重要公有云供应商推出的本地部署堆栈,可以实现与Oracle云的100%兼容,科用于多种用途,包括灾难恢复、弹性爆发、开发/测试、直接迁移工作负载,用于开发运营的单...
来自: 阿里云 > 网站

MongoDB迁移的那些事:冷备份+增量备份恢复

第三种是使用程序迁移,我们之前使用Java程序将MongoDB历史数据迁移到了HBase中;前两种都是根据MongoDB的oplog日志操作。MongoDB增量备份恢复方案目前开源方面还不太理想,商业版MongoDB没有接触过,也不清楚有哪些...
来自: 阿里云 > 网站

甲骨文推多项服务 协助全球企业简化云部署

这些开创性的服务为首席信息官提供了企业软件部署地点的全新选择,同时提供了将本地部署的商业关键应用便利地迁移到云端的一个途径。Oracle Cloud Machine 企业迫切地希望将企业工作负载迁移至公有云,但很多企业...
来自: 阿里云 > 网站

《告别失控:软件开发团队管理必读》一一2.1 程序...

这些年来,不同数据库系统之间的差别逐年减少,数据库程序员在一个数据库系统中积累的“基本”技术技巧也更容易迁移到别的数据库系统了。尽管像Hadoop这样用于访问TB级数据的“大数据”系统已经涌现出来,但最常用的...
来自: 阿里云 > 网站

解读数据传输DTS技术架构及最佳实践

比如将数据从Oracle迁移到MySQL可能出现哪些内容不兼容,可能有哪些无主键表,可能有哪些大字段,以及性能如何等。DTS能够为用户的系统提供一个基本的测试报告,让用户可以看到改造成本是什么样的。除了核心功能之外...
来自: 阿里云 > 网站

数据库选型十八摸 之 PostgreSQL-致 架构师、开发

除了对数据库功能方面的挑战,还有一方面的挑战来自性能方面,随着数据的爆炸,分析型的需求越来越难以满足,主要体现在数据的处理速度方面,而常见的hadoop生态中的处理方式需要消耗大量的开发人员,同时并不能很好...
来自: 阿里云 > 网站

2012年数据库与大数据领域回顾与展望

随着闭源软件在数据分析领域的地盘不断缩小,老牌IT厂商正在改变商业模式,向开源靠拢,并加大专业服务和系统集成方面的力度,帮助客户向开源的、面向云的分析产品迁移,主要是Hadoop和R两类技术。与人们的传统理解...
来自: 阿里云 > 网站

SQL Server 2016测评

但所有上述的这些改进,以及微软对于目前Oracle的数据库用户所提供的免费的数据库许可证授权是否足以吸引这些用户迁移到SQL Server,则完全是另外一个问题。在我开始详细介绍其新的和改进的功能之前,我应该介绍一下...
来自: 阿里云 > 网站

HBase数据导入工具总结

MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、OTS、ODPS 等各种异构数据源之间高效的数据同步功能。DataX本身作为数据同步框架,将不同数据源的同步抽象为从源头数据源读取数据的Reader插件,以及向...
来自: 阿里云 > 网站

DTCC2016部分参展商名录曝光,大牌云集

Trafodion的主要贡献者,易鲸捷帮助传统关系型数据库的用户,极其便利地迁移到Hadoop等分布式大数据平台。基于Trafodion开发的巨鲸数据库(EsgynDB),是一款国内自主知识产权的企业级大数据库,不仅满足各种大数据...
来自: 阿里云 > 网站

通过京东技术演进和淘宝技术演进,探察未来技术和架构

基于Hadoop,以Mapreduce作为计算引擎的的分布式数据仓库可以说是大数据处理的“标配”,2012年8月,由40台机器搭建的第一版集群上线,相较于Oracle小型机,性能明显提升,让我们第一次体会分布式的威力。...
来自: 阿里云 > 网站

甲骨文Thomas:大数据下的共存与集成

同时,若把Oracle数据库支持的数据服务,迁移到MySQL数据库平台上,还可以为企业节约大量资金。Tom表示,MySQL在Oracle中地位非常重要。新版本的MySQL引进了集群功能,提升了企业级的可用性、可靠性和可扩展性。...
来自: 阿里云 > 网站

英特尔联手Cloudera开疆中国大数据市场

Cloudera已经为包括AMD在内的多家企业用户提供帮助,成功将工作负载从甲骨文数据库等传统系统当中迁移到Hadoop之下。作为Hadoop的缔造者之一,Doug Cutting目前正效力于Cloudera公司。19个成立项目、超过75位Apache...
来自: 阿里云 > 网站

Spark-基础-Spark编译与部署环境搭建

cd/home/hadoop/upload$tar-zxf scala-2.10.4.tgz 迁移到/app目录下:$sudo mv scala-2.10.4/app/4.使用root用户配置/etc/profile文件,并生效该配置 export SCALA_HOME=app/scala-2.10.4 export PATH=$PATH:$/bin 5...
来自: 阿里云 > 网站

五个基于Java的Docker镜像

允许开发人员将代码提交自己的服务器端仓库上,然后由项目管理者审核并合并主项目仓库中。在 Stash 中开始一个新项目时,项目管理者应从一个全新的仓库入手:ssh&user@host git&init&-bare&path/to/repo.git& ...
来自: 阿里云 > 网站

2016全球最强数据库大盘点

所以Oracle也没有办法,既没法让MySQL迁移到Oracle,也没法不搞MySQL,所以只能拼命发展MySQL,争取把用户守住。当然Oracle也在全力投入发展云服务,如果云计算领域搞起来,MySQL可能带来不错的营收。Oracle12c ​...
来自: 阿里云 > 网站

第5轮学习笔记规划

可能内容一下子丰富了起来,有涉及MySQL和Mongodb的内容,对于设计模式,算法也有涉及,算是对自己的一个小突破,希望在接下来的100天里能够在DB方面的学习点上能够有深入的学习,在开发方面也有一定的收获和总结...
来自: 阿里云 > 网站

开源大数据周刊-第76期

本文作者是中国民生银行大数据开发工程师,在文中介绍了从基于Oracle的存储查询系统迁移到HBase分布式平台过程中的技术选型、RowKey 设计以及Spark写HBase过程等关键流程。同时还记录了过程中踩的坑。[Apache ...
来自: 阿里云 > 网站

2016全球最强数据库大盘点

所以Oracle也没有办法,既没法让MySQL迁移到Oracle,也没法不搞MySQL,所以只能拼命发展MySQL,争取把用户守住。当然Oracle也在全力投入发展云服务,如果云计算领域搞起来,MySQL可能带来不错的营收。Oracle12c ...
来自: 阿里云 > 网站

Java 9中将移除 Sun.misc.Unsafe

人们在开发新软件的时候就会逐步过渡新的 API,Unsafe&就自动被废弃了。这类似于向 Java 8引入&java.time&包中的新的&DateTime&API。新的日期 API 的引入并不表示之前的DateTime&API 被彻底移除或者隐藏某个特殊...
来自: 阿里云 > 网站

大数据与机器学习:实践方法与行业案例.2.2 数据缓冲...

bcp out DB2 export Oracle 第三方插件sqluldr MySQL mysqldump Hive hadoop shell&1. SQL Server:bcp out bcp是SQL Server自带的批量导出/导入命令,它包括批量导出命令bcp out和批量导入命令bcp in。bcp out命令的...
来自: 阿里云 > 网站

云计算是否会扼杀数据备份技术?

除了保护迁移到云端的整个应用程序之外,组织还需要将数据集移动云端进行测试,开发或分析,将非活动数据迁移到云端上以实现成本效益,并将数据返回内部以实现合规性和治理。最后,首席信息官需要一个新的备份和...
来自: 阿里云 > 网站

云计算是否会扼杀数据备份技术?

除了保护迁移到云端的整个应用程序之外,组织还需要将数据集移动云端进行测试,开发或分析,将非活动数据迁移到云端上以实现成本效益,并将数据返回内部以实现合规性和治理。最后,首席信息官需要一个新的备份和...
来自: 阿里云 > 网站

StackOverflow上开发者最爱和最想要的关系型数据库

FDW机制更让你可以在同一个PostgreSQL中像操作本地表一样访问其他数据源,如Hadoop、MySQL、Oracle、Mongo等,且不会占用PG的过多资源。比如我们团队开发的OSS\_FDW就用于实现对OSS的读写*。至于其他的,举个简单的...
来自: 阿里云 > 网站

从CTO创始人 孙元浩基础软件破局之路

随着移动互联网和云计算的飞速发展让数据量呈现几何级增长,市场急需一种技术来处理大量的数据,孙元浩敏锐的觉察大数据或许是个机会,并一眼相中了Hadoop 2013年孙元浩离开英特尔创业,也就是星环科技,从事大...
来自: 阿里云 > 网站

甲骨文秉承六大标准打造PaaS云服务 引领混合云新时代

企业对于云计算的接受度、信任度,相比于前几年已经有明显的增长,正呼应了之前甲骨文对云计算的预测:至2025年,95%的企业IT预算都将投入云计算领域,此外,80%的企业生产型应用都将迁移至云端。即使每个企业上云...
来自: 阿里云 > 网站

五个基于Java的Docker镜像

允许开发人员将代码提交自己的服务器端仓库上,然后由项目管理者审核并合并主项目仓库中。在 Stash 中开始一个新项目时,项目管理者应从一个全新的仓库入手:ssh&user@host&git&init&-bare&path/to/repo.git& ...
来自: 阿里云 > 网站

技术与时代并行丨DBAplus Newsletter(2017年2月)

我认为Hadoop生态目前最坚固的一块磐石是HDFS,如果以后有更好的方案能够兼容Hadoop接口的话,可能Hadoop的地位也会因此受挑战。当然,这些粗浅的分析仅仅是通过DB-Engines的趋势做出的解读,现在没有,以后也应该...
来自: 阿里云 > 网站

SAP HANA你所不知的秘密

超大内存的廉价X86架构的PC服务器(其实也不是真的廉价,好配置的HANA服务器比小型机还贵)硬件上运行的内存数据库系统,而非简单的将数据Load常驻内存就完事了(这是Oracle 12c),以这个系统为基石,外延拓展了...
来自: 阿里云 > 网站

跟我一起云计算(3)——hbase

数据类型一致,数据特征相似——高效压缩 关系型数据库hbase数据存储的变迁 传统关系型数据库(mysql,oracle)数据存储方式主要如下: 上图是个很典型的数据储存方式,我把每条记录分成3部分:主键、记录属性、索引...
来自: 阿里云 > 网站

数据集成工具领域,TOP10厂商优劣分析

由于市场上,不断强调数据集成大数据存储(如Hadoop和NoSQL)的重要性,用于支持即将到来的和流行的(例如启用数据湖)趋势,Adeptia将继续在这方面努力,因为在其路线图上有大数据集成。市场覆盖面广度。客户欣赏...
来自: 阿里云 > 网站

小麦苗BLOG文章索引

904【题库】Oracle开发类笔试面试题集 http://blog.itpub.net/26736162/viewspace-2141783/ 903 【推荐】【恢复】Redo日志文件丢失的恢复 http://blog.itpub.net/26736162/viewspace-2141732/ 902 Oracle数据库...
来自: 阿里云 > 网站

小麦苗BLOG文章索引

904【题库】Oracle开发类笔试面试题集 http://blog.itpub.net/26736162/viewspace-2141783/ 903 【推荐】【恢复】Redo日志文件丢失的恢复 http://blog.itpub.net/26736162/viewspace-2141732/ 902 Oracle数据库...
来自: 阿里云 > 网站

以大数据优化为基础构建未来就绪企业

Server所构建的,这意味着企业需要从Oracle数据库迁移到Hadoop或是Greenplum。这就是戴尔SharePlex所做的事情。在其客户网秦的应用过程中,SharePlex非常好地帮助网秦消除了各类应用系统软件升级或迁移过程中的服务...
来自: 阿里云 > 网站

DBA 的那些事

大多数情况下,数据库的整体设计对大多数DBA而言没有机会来接触或实战,尤其是设计E-R图以及表、视图定义等,这部分通常都是由专业数据库设计人员或开发人员来完成。因此本文对此也是初步描述。如果有机会参与,不要...
来自: 阿里云 > 网站

大数据优化|以大数据优化为基础构建未来就绪企业

Server所构建的,这意味着企业需要从Oracle数据库迁移到Hadoop或是Greenplum。这就是戴尔SharePlex所做的事情。在其客户网秦的应用过程中,SharePlex非常好地帮助网秦消除了各类应用系统软件升级或迁移过程中的服务...
来自: 阿里云 > 网站

盘点数据大牛公司

提供SQL-on-Hadoop引擎的Jethro可以帮助客户通过Hadoop获得商业智能能力,加快诸如Tableau、Qlik,以及MicroStrategy等一系列商业智能工具通过包括Hadoop和Amazon S3在内各种数据源快速执行大数据查询的能力。...
来自: 阿里云 > 网站

ODPS技术架构及应用实践

把海量数据从Hadoop集群迁移到ODPS的基本思路是:实现一个Map Only程序,在Hadoop的Mapper中读取Hadoop源数据,调用ODPS SDK写ODPS中。执行逻辑大致如图5所示。Hadoop MapReduce程序的执行逻辑主要包含两个阶段:...
来自: 阿里云 > 网站

阿里云全球首批MVP杨绣专访-技术要坚持刨根问底

从一个平台迁移到另一个平台,我们经历了两次,第一次是将数据任务从RDS迁移到采云间,第二次是从采云间迁移到数加平台。我们的业务系统当时少说也有几百个表,而做这件事只有1或2个人,采云间和数加当时在产品设计...
来自: 阿里云 > 网站

【开源访谈】Kyligence 马洪宾:大数据的现在和未来

不过从我自己接触的客户来看,他们已越来越愿意的把传统平台上的数据或者应用,迁移到大数据平台上来,只是这个迁移的过程可能还需要很长一段时间。这就好比你现在想立刻住大别墅,但可能由于现实的各种原因,暂时还...
来自: 阿里云 > 网站

Airbnb 数据基础设施与其背后的哲学

部分:Hadoop 集群的详细演化 今年我们从架构不佳的集群上进行迁移,被称为“Pinky 与 Brain”,放上述的“金银”系统中去。两年前,我们从 Amazon EMR 移一组运行在 HDFS 300 TB 数据的 EC2 实例。今天,我们有...
来自: 阿里云 > 网站

漫谈阿里大数据

比如很多企业,包括淘宝早期,就用Oracle作为数据仓库来存储数据,当时建立了亚洲最大的Oracle RAC作为数据仓库,按当时的规模来说,可以处理10T以下的数据规模。一旦出现独立的数据仓库,就会涉及ETL,如数据的...
来自: 阿里云 > 网站

拉里·埃里森与甲骨文的凌“云”壮志:2016年的甲骨文...

但是,不仅如此,你还要能够迁移应用,简单地点一下按钮就把应用完整地迁移到云端。我们也一直在解决本地和云端如何兼容的问题,因为两者共存的时间长达10年或更久。这两者的共存对于客户来说非常重要。用户不能在...
来自: 阿里云 > 网站

Kylin-实践OLAP

已有的以及潜在的Hive查询客户可以轻松的将报表迁移到KylinOLAP,使得大数据量下的交互式报表分析成为可能。有数能基于在猛犸上创建的Cube创建报表 有数主动识别Kylin Cube定义的维度和度量 用户在Kylin OLAP允许的...
来自: 阿里云 > 网站

数据库内核月报-2015/11-MySQL·社区见闻·OOW 2015 ...

第四是标准化,支持工业标准的SQL、Hadoop、NoSQL等等,让用户能够无锁定的自由迁移到其他云服务平台。第五是兼容性,能够自动迁移负载和数据。例如从公有云和私有云之间自由迁移。第六是安全性,能够持续的抵御黑客...
来自: 阿里云 > 网站

一文读懂大数据计算框架与平台

Hadoop服务商Cloudera和HortonWorks分别开发的Impala和Stinger,以及Apache项目Hive、Drill、Tajo、Kylin、MRQL等。一些批处理和流计算平台如Spark和Flink也分别内置了交互式分析框架。由于SQL已被业界广泛接受,...
来自: 阿里云 > 网站

【独家】一文读懂大数据计算框架与平台

Hadoop服务商Cloudera和HortonWorks分别开发的Impala和Stinger,以及Apache项目Hive、Drill、Tajo、Kylin、MRQL等。一些批处理和流计算平台如Spark和Flink也分别内置了交互式分析框架。由于SQL已被业界广泛接受,...
来自: 阿里云 > 网站

MaxCompute 2.0:阿里巴巴的大数据进化之路

通常情况下,一套大数据体系的建立需要分成这样几个过程,需要从数据源到开发阶段再到生产阶段。首先,数据源可以是应用,也可以是应用的服务,也可能来自应用的log日志。一方面可以将应用的信息通过log或者message...
来自: 阿里云 > 网站

从数据来源、数据生态、数据技术、数加平台等方面,...

比如很多企业,包括淘宝早期,就用Oracle作为数据仓库来存储数据,当时建立了亚洲最大的Oracle RAC作为数据仓库,按当时的规模来说,可以处理10T以下的数据规模。一旦出现独立的数据仓库,就会涉及ETL,如数据的...
来自: 阿里云 > 网站

数据管理:50年的数据探索所带来的商业价值

Hadoop技术,或者,更准确地说,Hadoop分布式文件系统——是一款开源版本的并行编程框架,称为MapReduce,最初是由谷歌开发的。其简化了分布在商品硬件上的跨大型数据集的数据处理,是由Doug Cutting和Mike ...
来自: 阿里云 > 网站

阿里巴巴大数据计算平台MaxCompute(原名ODPS)全套...

墨迹天气日志分析业务迁移到数加MaxCompute后,开发效率提升了超过5倍,存储和计算费用节省了70%,每天处理分析2TB的日志数据,更高效的赋能其个性化运营策略。本文收录了大量的客户案例,总有一款适合您。阿里云...
来自: 阿里云 > 网站

一名小小的SQL Server DBA想谈一下SQL Server的能力

前年看到一篇文章,对于关系型数据库,如果数据库的实际占用体积了100TB,关系型数据库已经无能为力了,该到Hadoop上场的时候了。本人承认,如果你的数据库真的有100TB,那么SQL Server可能会没有能力handle,但是...
来自: 阿里云 > 网站

主流开源SQL引擎总结,不断改进的Hive始终遥遥领先

该团队清理了代码,将其迁移到Apache 基础架构,并在10月份发布了第一个Apache 版本2.7.0。新版本包括了性能提升和可扩展性改进,以及一些其他小的增强。9月,Cloudera 发布了一项研究结果,该研究比较了Impala 和...
来自: 阿里云 > 网站

这家数据公司为什么能成为数百万企业的选择?

同时,随着数据量级的扩增,后端计算也经历了类似的演进,从最初较小体量的计算,拥有上千台机器的大规模Hadoop集群,再逐渐迁移到阿里云的StreamCompute、MaxCompute大型云计算平台上,【友盟+】根据数据量大、...
来自: 阿里云 > 网站

[转载]聊聊Greenplum的那些事

而数据库底层组件就像车轮一样,经过几十年磨砺,数据库引擎技术已经非常成熟,大可不必去重新设计开发,而且把数据库底层交给其它专业化组织来开发(对应Postgresql就是社区),还可充分利用社区的源源不断的...
来自: 阿里云 > 网站

大数据上云那些事儿:(一)上云工具的选择

它可以充分的利用现有Hadoop 集群的能力,来快速完成从Hadoop MaxCompute的数据迁移或上云。但它对网络情况也有一定要求,它要求Hadoop集群的机器必须可以通过公网或者专线的方式,能过连通MaxCompute。4.*...
来自: 阿里云 > 网站

大数据分析:找合适的瓶,酿新的酒

开发新的应用分析场景,并把这些分析应用场景直接跑大数据架构上。而不是去削足适履,拿新的NewSQL、NoSQL嫁接传统方案。这么做的好处不言而喻,关键是如何实现?这些事不能由搞IT的人来告诉业务人员,得让业务人员...
来自: 阿里云 > 网站

大公司c#amp;net转型java的原因有哪些?

最后扯最近几年火热的android、hadoop.可以看出java的地位了4.由于1,2,3的优点。所以Java高端技术人员相对也会多一些泼下冷水:1.语言层面不如后来的C#,也不如新型的go或者scala之类的2.易用性不如C#.NET。入门...
来自: 阿里云 > 网站

2015年学习计划

自己在前几天读下面的一段文字,心里还是很震撼的,平实但是寓意十足,我们真得好好想想自己内心的东西。Success is getting what you want,happiness is wanting what you get.-成功是得其所想,幸福是想其所得!...
来自: 阿里云 > 网站

五大新指标填补数据中心追踪的空白

但仍然时不时有需要从Oracle迁移到IBM的需求——现有的工作负载可能更需要相同供应商的数据库,不管是现在还是将来。然而大数据处理和其他举措为数据库选择提供了有效、可扩展的企业标准,并且可以提高每管理员管理...
来自: 阿里云 > 网站

从不同的角度来认识和理解Impala的架构设计

可以非常容易地与Hadoop系统整合,并使用Hadoop生态系统的资源和优势,也不需要将数据迁移到特定的存储系统就能满足查询分析的要求。可伸缩性 可以很好地与一些BI应用系统协同工作,如Microstrategy、Tableau、...
来自: 阿里云 > 网站

CODE大全告诉你java是否开始没落了

涉及软件开发的方方面面,可以说当今几乎所有的中型以上 Java 应用中,都会有 Apache 开源项目的身影。国内最早参与 Apache 社区的以国外软件公司国内研发团队成员为主,如红帽、IONA、Intel、IBM 研发中心等。...
来自: 阿里云 > 网站

大数据与机器学习:实践方法与行业案例.1.2数据平台

1.2数据平台 数据平台是存放分析数据的平台,也...说 明 hadoop fs-cat URI 将路径指定文件的内容输出stdout hadoop fs-cp URI[URI…] 将文件从源路径复制目标路径。这个命令允许有多个源路径,此时目标路径必须是...
来自: 阿里云 > 网站

Java资源大全中文版(Awesome最新版)

涵盖了从集合特定开发库的高性能计算相关工具。Agrona:高性能应用中常见的数据结构和工具方法。官网 Disruptor:线程间消息传递开发库。官网 fastutil:快速紧凑的特定类型集合(Collection)。官网 GS ...
来自: 阿里云 > 网站

阿里巴巴下一代数据集成技术

现在在接触很多大客户的时候,很多客户不想再继续自己维护hadoop了,希望我们能完整地一键把整个hadoop体系迁移到云上,以及把DB迁移到云上。在这种情况下我们可以做到一些一站式的服务。还有两个更好的能力就是支持...
来自: 阿里云 > 网站

6月23日直播:《NoSQL、RDS和大数据异构融合实战》

然而,不同于互联网企业,对于很多传统企业而数据库操作的标准是SQL,同时由于MongoDB不支持ACID数据强一致性,因此传统企业很难将全部业务迁移到MongoDB。这就迫使传统企业在进行互联网或物联网转型的过程中,开发...
来自: 阿里云 > 网站

Java 老矣,尚能饭否?

涉及软件开发的方方面面,可以说当今几乎所有的中型以上 Java 应用中,都会有 Apache 开源项目的身影。国内最早参与 Apache 社区的以国外软件公司国内研发团队成员为主,如红帽、IONA、Intel、IBM 研发中心等。...
来自: 阿里云 > 网站

深入理解Spark:核心思想与源码分析

我也找来一些Hadoop的书籍进行学习,希望能在其中探索大数据的奥妙。有幸在工作过程中接触阿里的开放数据处理服务(open data processing service,ODPS),并且基于ODPS与其他小伙伴一起构建阿里的大数据商业...
来自: 阿里云 > 网站

Java 老矣,尚能饭否?

涉及软件开发的方方面面,可以说当今几乎所有的中型以上 Java 应用中,都会有 Apache 开源项目的身影。国内最早参与 Apache 社区的以国外软件公司国内研发团队成员为主,如红帽、IONA、Intel、IBM 研发中心等。...
来自: 阿里云 > 网站
< 1 >
共有1页 跳转至: GO

你可能感兴趣

热门推荐

上海奇点人才服务相关的云产品 小程序定制 上海微企信息技术相关的云产品 国内短信套餐包 ECS云服务器安全配置相关的云产品 开发者问答 阿里云建站 自然场景识别相关的云产品 万网 小程序开发制作 视频内容分析 视频集锦 代理记账服务 阿里云AIoT