云原生企业级数据湖解决方案-数据湖-阿里云

{"textConfig":{"ifExchange":"false","data":[{"tabText":"","img":"https://img.alicdn.com/tfs/TB1eSTxgcieb18jSZFvXXaI3FXa-680-760.png","title":"数据湖存储","descText":"对象存储OSS基于12个9的可靠性设计，可存储任意规模的数据，支持冷热分层，可对接业务应用、各类计算分析平台，非常适合企业基于OSS构建数据湖。","link":"https://page.aliyun.com/form/act1893127405/index.htm","btnText":"联系我们","list":[{"title":"为什么基于OSS构建数据湖","innerList":[{"title":"","detail":"海量弹性: 计算存储分离，存储规模弹性扩容"},{"detail":"生态开放：对Hadoop生态友好，且无缝对接阿里云各计算平台"},{"detail":" 高性价比：统一存储池，避免重复拷贝，多种类型冷热分层"},{"detail":" 更易管理：加密、授权、生命周期、跨区复制等统一管理"}]},{"title":"解决的挑战","innerList":[{"title":"","detail":"缺弹性：自建HDFS资源浪费，计算存储耦合扩容难"},{"detail":"成本高：自建HDFS成本高，且缺乏数据冷热分层方案"},{"detail":"缺服务：相比阿里云EMR等，自建大数据集群，缺乏专家支持"},{"detail":"难管理：数据分散在多个集群，缺乏数据的统一管理"}]}],"productData":{"title":"推荐产品","goMoreBtn":"","productList":[{"icon":"https://img.alicdn.com/tfs/TB1iy4TFrj1gK0jSZFuXXcrHpXa-200-200.png","name":"OSS","link":"https://www.aliyun.com/product/oss?spm=5176.14089693.h2v3icoap.37.729c7a58oabwmT&aly_as=_N_aYoDiB"},{"icon":"https://img.alicdn.com/tfs/TB1O9lTFrH1gK0jSZFwXXc7aXXa-200-200.png","name":"E-MapReduce","link":"https://www.aliyun.com/product/emapreduce?spm=5176.10695662.h2v3icoap.165.321e7b4a4ZON1R"},{"icon":"https://img.alicdn.com/tfs/TB12rpSFrH1gK0jSZFwXXc7aXXa-200-200.png","name":"日志服务","link":"https://www.aliyun.com/product/sls?spm=5176.10695662.1119587.1.50891d04Nq6klu"},{"name":"表格存储","icon":"https://img.alicdn.com/tfs/TB1WkxPFAL0gK0jSZFAXXcA9pXa-200-200.png","link":"https://www.aliyun.com/product/ots?spm=5176.10695662.1112037.1.21da2350I4PMxE"},{"name":"Data Lake Formation","icon":"https://img.alicdn.com/tfs/TB1bvmtgtTfau8jSZFwXXX1mVXa-105-106.png","link":"https://www.aliyun.com/product/bigdata/dlf"}]}}],"imgBgColor":"#eeeeee","textBgColor":"#f9f9f9"}}

{"textConfig":{"data":[{"tabText":"开源生态构建数据湖","img":"https://img.alicdn.com/tfs/TB1CeeOUFT7gK0jSZFpXXaTkpXa-1530-1141.jpg","list":[{"title":"应用场景","descText":"• 客户基于Hadoop生态构建数据处理与分析 • 广泛使用在互联网、金融、制造业、交通等各领域"},{"descText":"• 数据规模增长快，存储资源与计算资源扩容速度不匹配，客户有成本优化需求 • 数据来源广，存储系统需要对接不同的数据源，包括应用数据","title":"用户痛点"},{"title":"WHY 阿里云","descText":"• OSS能支撑 EB 规模的数据湖，支持多种数据通道，全面覆盖日志、消息、数据库、HDFS 各种数据源 • OSS 无缝对接EMR Hive、Spark、Presto、Impala 等大数据处理引擎，消除数据孤岛• 阿里云 EMR 大数据专家级服务支持 • 阿里云 Data Lake Formation 提供数据湖元数据管理、数据湖加速等服务；EMR大数据专家级服务支持"}]},{"tabText":"构建全托管式海量数仓","list":[{"title":"应用场景","descText":"使用全托管云服务构建大数据系统，客户的精力集中在业务，更关注上层的数据可视化、BI、大屏。"},{"title":"用户痛点","descText":"• 客户需要将更多技术资源投入到业务层，而不是在资源运维和管理 • 资源弹性，数据存取、分析需要大吞吐能力支撑"},{"title":"WHY阿里云","descText":"• 通过阿里云MaxCompute 、OSS、OTS等全托管服务，让客户的研发资源更多集中在业务数据开发 • MaxCompute 内置SQL、MR、Graph等多种数据计算模型， 对接丰富的可视化服务"}],"img":"https://img.alicdn.com/tfs/TB1_oqkkIKfxu4jSZPfXXb3dXXa-1400-1020.png"},{"tabText":"大数据冷热分层存储","list":[{"title":"应用场景","descText":"客户大数据场景中有大量累积，数据随着时间推移，访问热度会大幅降低，将不同访问热度的数据存储在不同类型，优化长期存储成本。"},{"title":"用户痛点","descText":"• 积累的大数据中的冷数据需要优化长期存储成本 • 计算和存储增速的不匹配，扩容存储资源可能会产生空闲的计算资源"},{"title":"WHY阿里云","descText":" • 通过分层存储模式，可以显著优化成本，因存储扩容产生的计算资源闲置不再发生 • 通过将温/冷数据定期存储到OSS，通过OSS弹性扩展和冷热分层能力，极大降低客户资源规划难度"}],"img":"https://img.alicdn.com/tfs/TB1_vKfIYr1gK0jSZR0XXbP8XXa-1400-1020.png"},{"tabText":"海量数据的交互式查询","list":[{"title":"应用场景","descText":"• 客户在阿里云OSS中存储了各种类型数据，对其中的数据能够做OLAP的分析 • 能够对接流式计算产生的数据 • 分析后的结果需要在对应的数据应用中展示"},{"title":"用户痛点","descText":"• 数据查询能够直接进行，不需要提取全部数据到查询系统 • 数据源可能来自多个渠道，包括来自于实时产生的数据 • 对于分析后的结果需要能够可视化"},{"title":"WHY阿里云","descText":"• OSS支持多种渠道数据流入，统一存储，且可被多种计算平台直接查询分析• 支持通过 Data Lake Formation 进行数据湖加速，提升2-10倍的查询性能"}],"img":"https://img.alicdn.com/tfs/TB1_raQUFT7gK0jSZFpXXaTkpXa-1530-1141.jpg"},{"tabText":"数据湖构建机器学习能力","list":[{"title":"应用场景","descText":"训练场景：1）经典机器学习场景；2）深度学习训练场景 推理场景：1）基于CPU在线预测；2）基于GPU在线推理"},{"title":"痛点与问题","descText":"训练场景：1）数据量大，模型训练跑不动，时间长；2）没有好的算法解决方案，训练出的模型效果不好 推理场景：1）在线预测资源的弹性扩缩容；2）基于GPU资源的推理服务，成本高"},{"title":"价值与优势","descText":"• OSS存储海量非结构化和半结构化数据，表格存储OTS服务化的分布式NoSQL服务存储海量结构化数据 • PAI DLC分布式训练加速，提升训练速度，缩短训练时长；在推理场景中，借助PAI Blade和EAS组合，大幅提升资源利用率"}],"img":"https://img.alicdn.com/tfs/TB1DA9gIYY1gK0jSZTEXXXDQVXa-1400-1020.png"}],"picbg":"#ffffff"}}

{"textConfig":{"data":[{"tabText":"在线教育数据湖实践","logo":"","customerName":" 用户数过亿的某在线教育平台","customerDesc":"客户需求 课件素材、应用日志、学习采样等数据能够集中存储 能够对不同类型数据提供课件播放、离线分析、机器学习，实现在线教育不同场景的需求 客户价值 OSS支持音视频、图片、日志等各种类型数据集中存储，无缝对接大数据处理、教学课件点播分发","videoLink":"","videoLinkBtn":"","img":"https://img.alicdn.com/tfs/TB1nASFaz39YK4jSZPcXXXrUFXa-944-660.png","list":[]},{"customerName":"亚洲领先的某互动娱乐公司","tabText":"在线游戏数据湖实践","customerDesc":"客户需求 需要通过数据分析，及时调整游戏关卡难度，掉宝率，资源产出率 需要有资源的扩展和升级能力，传统的大数据集群计算和存储资源紧绑定 客户价值 计算与存储弹性扩展能力降低管理运维难度，存储与计算的解耦合，让升级更具灵活性","img":"https://img.alicdn.com/tfs/TB1UbqqavzO3e4jSZFxXXaP_FXa-944-660.png","logo":""},{"tabText":"互娱新媒体数据湖实践","customerDesc":"客户需求 优化冷数据的长期存储成本，避免存储成本线性增长 计算资源和存储资源增速不同，资源扩容难以同时保证计算和存储资源的高利用率 客户价值 通过分层存储，引入多存储类型解决客户温/冷数据长期存储成本优化，让用户资源扩容更加灵活","customerName":"月活用户数破亿的某互联网新媒体平台","img":"https://img.alicdn.com/tfs/TB1Ilz_bqNj0u4jSZFyXXXgMVXa-944-660.png","logo":""},{"customerDesc":"客户需求 资源扩容具备弹性，资源使用量按照业务量变化动态增减，控制常驻的计算集群规模，降低TCO 客户价值 通过阿里云的弹性伸缩能力，能够根据业务压力动态增减资源，采用计算与存储分离架构，让广告业务系统构建与升级更具灵活性","tabText":"互联网广告数据湖实践","customerName":"加和科技","logo":"","img":"https://img.alicdn.com/tfs/TB1H1DEKQL0gK0jSZFAXXcA9pXa-944-660.png"}]}}

{"textConfig":{"tablist":[{"imgUrl":"https://img.alicdn.com/tfs/TB1VjArVAL0gK0jSZFtXXXQCXXa-235-118.png","videoUrl":"http://cloud.video.taobao.com/play/u/1742346/p/1/e/6/t/1/280415555051.mp4","text":"数据湖解决方案—游戏行业最佳实践","info":"通过数据上云精细化运营，挖掘数据价值，提升游戏体验","cover":"https://img.alicdn.com/tfs/TB1PMdZjIVl614jSZKPXXaGjpXa-780-440.png"},{"imgUrl":"https://img.alicdn.com/tfs/TB1hm.IVxv1gK0jSZFFXXb0sXXa-235-118.png","videoUrl":"http://cloud.video.taobao.com/play/u/1742346/p/1/e/6/t/1/279960849608.mp4","text":"数据湖解决方案—互娱行业最佳实践","info":"有效解决互娱行业在不同场景下存储视频、图片、日志、文本等各类数据上云问题","cover":"https://img.alicdn.com/tfs/TB19PinaP39YK4jSZPcXXXrUFXa-780-440.jpg"},{"imgUrl":"https://img.alicdn.com/tfs/TB1ZYy2mk9l0K4jSZFKXXXFjpXa-235-118.png","videoUrl":"http://cloud.video.taobao.com/play/u/1742346/p/1/e/6/t/1/279957081180.mp4","text":"数据湖解决方案—在线教育行业最佳实践","info":"对接各种教学应用场景数据，实现数据皆可沉淀；并发掘教育场景下的数据应用价值","cover":"https://img.alicdn.com/tfs/TB1Tf0ZjIVl614jSZKPXXaGjpXa-780-440.png"},{"imgUrl":"https://img.alicdn.com/tfs/TB1yWxYjwgP7K4jSZFqXXamhVXa-235-118.png","videoUrl":"http://cloud.video.taobao.com/play/u/1742346/p/1/e/6/t/1/280418359827.mp4","text":"数据湖解决方案—AI行业最佳实践","info":"帮助AI客户实现数据统一和长期存储；并能灵活对接多种计算 引擎，充分发掘AI场景下的数据应用价值","cover":"https://img.alicdn.com/tfs/TB1730ZJbr1gK0jSZR0XXbP8XXa-780-440.jpg"},{"imgUrl":"https://img.alicdn.com/tfs/TB1_mhhYUT1gK0jSZFrXXcNCXXa-235-118.png","videoUrl":"http://cloud.video.taobao.com/play/u/1742346/p/1/e/6/t/1/279674760009.mp4","text":"数据湖解决方案—互金行业最佳实践","info":"帮助金融机构数据能够通过多种传输模式海量并发上收，统一存储管理和调度，冷热数据分层存储，让数据可靠，高效的发挥价值","cover":"https://img.alicdn.com/tfs/TB1A9bkVBr0gK0jSZFnXXbRRXXa-780-440.png"}]}}

{"textConfig":{"data":[{"tabText":"流利说数据湖实践","logo":"","customerName":"客户视频-流利说","customerDesc":"通过阿里云为流利说量身打造的数据湖解决方案，解决了流利说多种应用的各类数据的统一存储，帮助流利说构建数据规模高达上千亿的“中国人英语语音数据库”。使用阿里云构建的数据湖，可以充分发挥计算与解耦合架构的优点，结合阿里云 ECS 弹性实例和 K8S，根据实际业务需求，动态扩展、缩减对应计算资源，无须按照业务峰值常驻计算资源，帮助流利说最大程度地优化成本。","videoLink":"http://cloud.video.taobao.com/play/u/1742346/p/1/e/6/t/1/283967012257.mp4","videoLinkBtn":"观看视频","img":"https://img.alicdn.com/tfs/TB1m1.I08r0gK0jSZFnXXbRRXXa-780-440.png","list":[]},{"tabText":"易点天下数据湖实践","logo":"","customerName":"客户视频-易点天下","customerDesc":"阿里云数据湖存储与计算解耦合的架构特点为Yeahmobi提供了丰富灵活且高性价比的灵活处理模式，OSS可支持丰富的计算引擎，通过结合使用EMR和DLA等，轻松支持Yeahmobi每天20TB新增日志量、每天超100亿次的请求以及每小时3000万数据的清洗。","videoLink":"http://cloud.video.taobao.com/play/u/1742346/p/1/e/6/t/1/284764591036.mp4","videoLinkBtn":"观看视频","img":"https://img.alicdn.com/tfs/TB1mWAl04z1gK0jSZSgXXavwpXa-780-440.png","list":[]},{"tabText":"加和科技数据湖实践","logo":"","customerName":"客户视频-加和科技","customerDesc":"通过阿里云数据湖解决方案支撑了加和ReachMax流量业务，日均150亿条、近200列的数据分析和大量的临时数据统计与分析需求。海量的流量决策和分析服务，通过阿里云数据湖基座OSS在数据可靠性、多存储类型、弹性扩展等多方面能力，大幅度简化了加和在数据存储和应用的设计复杂度，相比加和原先使用的自建方案，平均成本下降了30%。","videoLink":"http://cloud.video.taobao.com/play/u/1742346/p/1/e/6/t/1/265171796751.mp4","videoLinkBtn":"观看视频","img":"https://img.alicdn.com/tfs/TB1tImjI1T2gK0jSZFvXXXnFXXa-472-400.png","list":[]}]}}

{"list":[{"icon":"","color":"#000","link":"https://www.aliyun.com/product/oss?spm=5176.14473452.J_2547053330.2.499f63481OtPyU&aly_as=_N_aYoDiB","title":"OSS","description":"查看详情","pic":"https://img.alicdn.com/tfs/TB1ngBSFrY1gK0jSZTEXXXDQVXa-200-200.png"},{"pic":"https://img.alicdn.com/tfs/TB1PwcSVFY7gK0jSZKzXXaikpXa-200-200.png","link":"https://www.aliyun.com/product/datalakeanalytics","title":"云原生数据湖分析","description":"查看详情"},{"icon":"","color":"#000","link":"https://www.aliyun.com/product/emapreduce?spm=5176.14473452.J_2547053330.3.499f63481OtPyU","title":"E-MapReduce","description":"查看详情","pic":"https://img.alicdn.com/tfs/TB1kGdUFxv1gK0jSZFFXXb0sXXa-200-200.png"},{"icon":"","color":"#000","link":"https://www.aliyun.com/product/sls?spm=5176.14473452.J_2547053330.4.499f63481OtPyU","title":"SLS日志服务","description":"查看详情","pic":"https://img.alicdn.com/tfs/TB1vi0TFAT2gK0jSZFkXXcIQFXa-200-200.png"},{"icon":"","color":"#000","link":"https://www.aliyun.com/product/ots?spm=5176.14473452.J_2547053330.5.499f63481OtPyU","title":"表格存储","description":"查看详情","pic":"https://img.alicdn.com/tfs/TB1DzBQFAY2gK0jSZFgXXc5OFXa-200-200.png"}]}