MSE云原生网关解析body内容进行路由转发
MSE云原生网关解析body内容进行路由转发
MSE云原生网关中通过自定义插件transformer解析body内容,并用以路由转发规则判断
文档版本:20240426 10 MSE云原生网关解析 body内容进行路由转发 方案验证 步骤3 单击 transformer自定义插件打开插件的配置界面,在插件配置的右上角点击【编辑】链接 更新插件 YAML 在 YAML编辑窗口中输入以下内容(注意缩进):reqRules:operate:map headers:fromKey:userId toKey:version mapSource:body 该脚本的含义...
来自: 最佳实践 相关产品:负载均衡 SLB,Serverless 应用引擎,微服务引擎,云速搭
自建Hadoop迁移到阿里云EMR
自建Hadoop迁移到阿里云EMR
场景描述 场景1:自建Hadoop集群数据(HDFS)迁移到 阿里云EMR集群的HDFS文件系统; 场景2:自建Hadoop集群数据(HDFS)迁移到 计算存储分离架构的阿里云EMR集群,以OSS 和JindoFS作为EMR集群的后端存储。 解决的问题 客户自建Hadoop迁移到阿里云EMR集群的 技术方案; 基于IPSecVPN隧道构建安全和低成本数据 传输链路 产品列表 E-MapReduce,VPC,ECS,OSS,VPN网关。
详情请查看 https://www.aliyun.com/product/emapreduce HDFS Hadoop 分布式文件系统(HDFS)被设计成适合运行在通用硬件上的分布式 系统,它和现有的分布式文件系统有很多共同点。但同时,它和其他的分布式 文件系统的区别也是很明显的。HDFS是一个高度容错性的系统,适合部署在廉 价的机器上。HDFS能提供高吞吐量的...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,对象存储 OSS,VPN网关,E-MapReduce,云速搭
RAPIDS加速机器学习
RAPIDS加速机器学习
场景描述 本方案适用于使用RAPIDS加速库+GPU 云服务器来对机器学习任务或者数据科学 任务进行加速的场景。相比CPU,利用 GPU+RAPIDS在某些场景下可以取得非常 明显的加速效果。 解决问题 1.搭建RAPIDS加速机器学习环境 2.使用容器服务Kubernetes版部署 RAPIDS环境 3.使用NAS存储计算数据 产品列表 容器服务Kubernetes版 GPU云服务器 文件存储NAS
Retain Access Modes:RWX Capacity:50Gi Node Affinity:Message:Source:Type:FlexVolume(a generic volume resource that is provisioned/attached using an exec based plugin)Driver:alicloud/nas FSType:SecretRef:ReadOnly:false Options:map[options:nolock,tcp,noresvport path:/server:3d5ba48d8c-ovi54....
来自: 最佳实践 | 相关产品:云服务器ECS,文件存储NAS,容器服务 ACK
大数据系统基准性能测试最佳实践
大数据系统基准性能测试最佳实践
本方案适用于在阿里云上进行大数据基准性能测试的场景,包括 Teragen和Terasort测试,TestDFSIO测试。本文采用CADT工具结合阿里云的E-MapReduce服务快速构建测试集群,并提供了Teragen和Terasort测试,TestDFSIO测试的测试脚本,便于迅速开展测试。
TestDFSIO调用一个 MapReduce作业来并发地 执行读写操作,每个 map任务用于读或写每个文件,reduce 用于累积统计信息,并产生 统计总结。获取脚本 ✓ 通过如下命令获取测试脚本:git clone git@code.aliyun.com:best-practice/202.git 文档版本:20210301 3 大数据系统基准性能测试最佳实践 前置条件 前置条件 为了顺利完成...
来自: 最佳实践 | 相关产品:专有网络 VPC,E-MapReduce,云速搭CADT
EHPC分子动力学最佳实践
EHPC分子动力学最佳实践
本文档以一个简单的分子动力学算例,介绍阿里云EHPC分子动力学最佳实践。
EHPC分子动力学 最佳实践 部署架构图 场景描述 本实践适用于使用弹性高性能计算 EHPC+文件存储 NAS+ECS弹性供应在阿里云上低 成本构建分子模拟 MDaaS(Molecular Dynamics as a Service)超算集群。解决问题 1.使用 EHPC运行分子动力学软件 CP2K 2.使用文件存储 NAS存储数据和代码 3.使用 ECS弹性伸缩组构建集群弹性 产品...
来自: 最佳实践 | 相关产品:云服务器ECS,对象存储 OSS,文件存储NAS,弹性高性能计算E-HPC,云速搭CADT
CDH迁移升级CDP最佳实践
CDH迁移升级CDP最佳实践
当前 CDH 免费版停止下载,终止服务,针对需要企业版服务能力并且CDH 升级过程对业务影响较小的客户,通过安装新的 CDP 集群,将现有数据拷贝至新集群,然后将新集群切换为生产集群,升级过程没有数据丢失风险,停机时间较短,适合大部分互联网客户升级使用。
4.单击 View as XML,并插入capacity-scheduler.xml由转换器工具生成的完整 。5.添加必要的配置属性。6.单击保存更改。7.搜索yarn-site并找到 yarn-site.xml的 YARN 服务高级配置片段(安全阀)。8.单击以 XML 格式查看并以 XML 格式添加所需的配置。(可选)使用+和-来添加和删除属性。9.单击保存更改。10.重新启动 ...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,云速搭
SLS多云日志采集、处理及分析
SLS多云日志采集、处理及分析
场景描述 从第三方云平台或线下IDC服务器上采集 日志写入到阿里云日志服务,通过日志服务 进行数据分析,帮助提升运维、运营效率, 建立DT 时代海量日志处理能力。 针对未使用其他日志采集服务的用户,推荐 在他云或线下服务器安装logtail采集并使用 Https安全传输;针对已使用其他日志采集 工具并且已有日志服务需要继续服务的情 况,可以通过Log producer SDK写入日志 服务。 解决问题 1.第三方云平台或线下IDC客户需要使用 阿里云日志服务生态的用户。 2.第三方云平台或线下IDC服务器已有完 整日志采集、处理及分析的用户。 产品列表 E-MapReduce 专有网络VPC 云服务器ECS 日志服务LOG DCDN
这些组件一起工作来读取 (tail file)并将事件数据发送到您指定的输出。启动 Filebeat时,它会启动一个或多个查找器,查看您为日志文件指定的本地路径。对于 prospector 所在的每个日志文件,prospector 启动 harvester。每个 harvester 都会为新内容读取单个日志文件,并将新日志数据发送到 libbeat,后者将聚合事件...
来自: 最佳实践 | 相关产品:云服务器ECS,日志服务(SLS),NAT网关,E-MapReduce,全站加速 DCDN,云速搭CADT
混合云使用Ali-Perseus
混合云使用Ali-Perseus
场景描述 本文介绍了混合云场景中,自建 Kubernetes服务,线下集群+云上弹性扩 展阿里云GPU服务实例+飞天AI加速工 具,并采用阿里云CPFS存储,运行AI训 练+AI推理作业的操作步骤。 解决问题 1.利用云企业网打通两个地域的VPC, 自建Kubernetes集群 2.使用飞天AI加速工具运行训练和推理 作业 3.使用CPFS存储共享数据 产品列表 云企业网CEN GPU云服务器 并行文件存储CPFS 文件存储NAS
拷贝模型文件.58 6.4.创建 NAS pv和 pvc.58 6.5.创建推理服务.60 6.6.创建推理客户端.61 6.7.运行推理任务.62 V 混合云使用飞天AI加速工具 最佳实践概述 最佳实践概述 AI数据处理流程 AI数据处理一般分为三个步骤,数据采集,清洗标注,模型训练,模型部署与推 理。方案场景描述 在混合云场景中,可以自建 Kubernetes服务,...
来自: 最佳实践 | 相关产品:云服务器ECS,文件存储NAS,云企业网
大数据近实时数据投递MaxCompute
大数据近实时数据投递MaxCompute
本文介绍离线大数据场景使MaxCompute构建云 上近实时数仓,打通云下数据上云链路,解决数据复杂类型支持和动态分区问题,满足高级数据处理需求的最佳实践。 l混合云环境下,现有业务系统零改造,打通数据上云链路。 l使用UDF实现复杂数据类型转换和数据动态分区。 l使用DataWorks配置周期调度业务流程,数据自动入仓。 l借助MaxCompute优化计算引擎,实现降本增效。 产品列表 云服务器ECS 专有网络VPC 访问控制RAM 数据总线DataHub E-MapReduceEMR DataWorks 大数据计算服务MaxCompute
新建 MaxCompute资源 说明 资源名称 maxcompute.udf-0.0.1-with-dependencies.jar 目标文件夹 测试业务流程/手动业务流程/MaxCompute 资源类型 JAR 上传文件 点击上传 文档版本:20240419 40 大数据近实时数据投递 MaxCompute 确认 UDTF JAR包上传成功。提交并解锁资源。添加变更描述 文档版本:20240419 41 大数据近实时...
来自: 最佳实践 | 相关产品:块存储,专有网络 VPC,云服务器ECS,访问控制,E-MapReduce,DataWorks,大数据计算服务 MaxCompute,数据总线,云速搭CADT
RAPIDS加速图像搜索
RAPIDS加速图像搜索
场景描述 本方案适用于使用RAPIDS加速平台 +GPU云服务器来对图像搜索任务进行加 速的场景。相比CPU,利用GPU+ RAPIDS在图像搜索场景下可以取得非常 明显的加速效果。 解决问题 1.搭建RAPIDS加速图像搜索环境 2.使用容器服务Kubernetes版部署图 像搜索环境 3.使用NAS存储计算数据 产品列表 容器服务Kubernetes版 GPU云服务器 文件存储NAS
使用容器服务 ACK部署 RAPIDS环境 Source:Type:FlexVolume(a generic volume resource that is provisioned/attached using an exec based plugin)Driver:alicloud/nas FSType:SecretRef:ReadOnly:false Options:map[options:nolock,tcp,noresvport path:/server:3d5ba48d8c-ovi54.cn-shanghai.nas.aliyuncs.com vers:3]...
来自: 最佳实践 | 相关产品:云服务器ECS,文件存储NAS,容器服务 ACK
基于湖仓一体架构使用MaxCompute对OSS湖数据分析预测
基于湖仓一体架构使用MaxCompute对OSS湖数据分析预测
本篇最佳实践先创建EMR集群作为数据湖对象,Hive元数据存储在DLF,外表数据存储在OSS。然后使用阿里云数据仓库MaxCompute以创建外部项目的方式与存储在DLF的元数据库映射打通,实现元数据统一。最后通过一个毒蘑菇的训练和预测demo,演示云数仓MaxCompute如何对于存储在EMR数据湖的数据进行加工处理以达到业务预期。
2.file_format,用于指定storeas所使用FileFormat,如orc、textfile等,设置后忽 略input_format,output_format 3.input_format,用于指定文件存储时所使用的InputFormat对应的类名,如 org.apache.hadoop.mapred.TextInputFormat 4.output_format,用于指定文件存储时所使用的OutputFormat对应的类名,如 org.apache....
来自: 最佳实践 | 相关产品:对象存储 OSS,E-MapReduce,DataWorks,大数据计算服务 MaxCompute,API网关,数据湖构建,云速搭
基于OSS Object FC实现非结构化文件实时处理最佳实践
基于OSS Object FC实现非结构化<em>文件</em>实时处理最佳实践
现在绝大多数客户都有很多非结构化的数据存在OSS中,以图片,视频,音频居多。举一个图片处理的场景,现在各种终端种类繁多,不同的终端对图片的格式、分辨率要求也不同,所以一张图片往往会有很多张衍生图,那如果所有的衍生图都存在OSS中,那存储的成本会增加,所以就可以通过OSS Object FC的方案,在不同的终端请求时,对OSS中的原图基于终端的要求做实时处理,然后响应返回,这样OSS中只需要存储原图即可。音视频也有类似的场景。
获取示例代码和文件.11 2.1.通过Git获取示例代码和文件.11 3.配置对象存储OSS.12 3.1.创建接入点(AP).12 3.2.创建对象FC接入点(OPAP).15 3.3.创建RAM授权.17 3.4.上传样例图片.19 4.配置函数计算FC.21 4.1.登录函数计算FC控制台.21 4.2.部署修改图片扩展名代码.21 4.3.更新osssdk和pyopenssl.22 5.配置CDN.24 5.1.添加...
来自: 最佳实践 | 相关产品:对象存储 OSS,函数计算
基于云速搭CADT快速构建药物筛选批量计算环境-serverless版
基于云速搭CADT快速构建药物筛选批量计算环境-serverless版
本方案基于云速搭 CADT提供一个快速构建云上Serverless版HPC批量计算环境的模板,针对生物制药领域的药物筛选场景,提供开箱即用的整套解决方案工具包,整个云上环境仅需1个小时即可完成自动化部署搭建。
产品列表 最佳实践频道 阿里云最佳实践分享群 弹性高性能计算 E-HPC Serverless版 文件存储 NAS 云速搭 CADT 容器镜像服务 ACR NAT网关 云服务器 ECS 钉钉扫描二维码或搜索钉群号 31852400入群 基于云速搭 CADT快速部署 药物筛选批量计算环境 Serverless版 文档版本:20240204(发布日期)基于云速搭 CADT部署药物筛选批量...
来自: 最佳实践 | 相关产品:弹性公网IP,文件存储NAS,日志服务(SLS),容器镜像服务 ACR,操作审计,密钥管理服务,云防火墙,弹性高性能计算E-HPC,云速搭
文件下载加速及成本优化
通过分布于全球的CDN节点来缓存源站的文件内容,并且调度用户请求到最近的CDN节点上快速下载所需文件,因此能够加快文件下载速度,提高网站性能。
产品解决方案文档与社区权益中心定价云市场合作伙伴支持与服务了解阿里云备案控制台文件下载加速及成本优化方案介绍方案优势应用场景方案部署解决方案推荐文件下载加速及成本优化方案使用阿里云CDN来加快源站内容的分发速度,通过分布于全球的CDN节点来缓存源站的文件内容,并且调度用户请求到最近的CDN节点上快速下载所需...
来自: 解决方案
文件存储NAS
文件存储(Network Attached Storage,简称NAS),是阿里云对外提供的兼容POSXI接口的分布式文件存储,容量和处理能力的弹性扩展,按实际容量付费真正使您专注于核心业务。
高性能网站需要将服务组成集群将代码文件、配置文件或图片等业务数据放置在NAS存储上共享访问,大部分都为几十KB级的小文件,对系统响应速度有较高要求.共享访问:多个前端服务需要持久化数据保持一致.高IOPS:网站后台存在大量小文件,在业务高峰存在大量并发.弹性扩展:存储空间可以随时扩展.场景需求与痛点.多台无状态...
来自: 云产品
低成本跨境文件传输
低成本跨境<em>文件</em>传输
场景描述 1.跨境对象存储数据传输需求。 2.对跨境传输成本控制严苛。 3.能接受一定程度网络抖动带来的文件同步 延迟。 4.系统需要有足够的弹性和扩展性应对大规 模文件的写入。 方案优势/解决问题 1.运维低成本:开发人员关注代码逻辑即可; 2.网络成本低:相比CEN高速通道的方式网 络成本降低; 3.同步服务部署成本低:文件发生变化触发函 数计算任务,按量触发,不用准备ECS; 4.弹性高效:一个文件同步触发一个函数工作 流任务,充分利用资源高效同步。 产品列表 专用网络VPC 云服务器ECS 弹性公网IP 函数计算 对象存储OSS 函数工作流
文档版本:20211025(发布日期)15 低成本跨境文件传输最佳实践 配置实验环境 第 三 组 是 超 大 。initMultipartUpload,uploadParts,completeMultipartUpload 函数负责处理超大文件。项目详细流程图和处理逻辑参考:https://github.com/awesome-fnf/oss-copy 步骤1 下载 oss-copy源码 cd/opt yum install-y git git...
来自: 最佳实践 | 相关产品:云服务器ECS,对象存储 OSS,函数计算,Serverless 工作流
文件存储CPFS
阿里云文件存储CPFS是完全托管、可扩展的并行文件存储系统。针对高性能计算场景的性能要求进行了深度优化,提供对数据毫秒级的访问和百万级IOPS的数据读写请求。
什么是文件存储 CPFS.创建 CPFS 文件系统.了解 CPFS 的计量项和计费方式.查看产品文档.查看 API&SDK 使用文档.了解如何使用.查看常见问题解答.支持标准的 POSIX、MPI-IO、NFS 协议,高性能计算程序无需进行任何接口适配和性能优化即可高效率执行.兼容标准 POSIX/MPI-IO/NFS 协议,高性能应用程序无需进行任何更改,即可直接...
来自: 云产品
云速搭部署 NAS 文件系统
云速搭部署 NAS <em>文件</em>系统
本实践通过云速搭构建一个 NAS,并将 NAS 文件系统挂载到 ECS 的目录上。
云速搭部署 NAS文件系统 文档版本信息 云速搭 部署 NAS文件系统 最佳实践 文档版本:20211027(发布日期)云速搭部署 NAS文件系统 文档版本信息 文档版本信息 文本信息 属性 内容 文档名称 云速搭部署 NAS文件系统 文档编号 245 文档版本 V1.0 版本日期 2021-10-27 文档状态 对外发布 制作人 洁谦 文档变更记录 版本编号 ...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,文件存储NAS,云速搭CADT
数据库文件存储DBFS
阿里云数据库文件存储DBFS基于共享存储架构,支持数据库定制和共享读写的线性扩展能力,提供低成本、高性能、高可用的存储服务,助力客户数据库业务无缝迁移上云。
快速了解数据库文件存储.数据库文件存储API手册.产品使用最佳实践.常见问题供查阅参考.查看全部日志.使用全新一代软硬件结合技术,充分发挥硬件红利,性能随存储容量线性增长.采用多副本技术,提供99.9999999%的数据可靠性.基于共享存储架构,提供多点读写的线性扩展能力。多个数据库实例共享一份数据,赋能业务实现数据零...
来自: 云产品
录音文件识别
阿里云录音文件识别可对用户上传的录音文件进行识别,上传完之后24小时内完成识别并返回识别文本。可用于呼叫中心语音质检、庭审数据库录入、会议记录总结、医院病历录入等场景。支持金融、保险、司法、电商、智能家居等多个领域语音识别。
最新推出录音文件识别(极速版)长度30分钟内的音频,从上传音频完成到获取文本结果不超过10秒.数年持续提升准确率,通用字准确率90%以上,部分模型可达99%.9种语言及21种中国方言识别能力。广泛覆盖客服、教育、金融、互联网等各应用领域,且支持自学习定制优化.标题点击能跳转.文字超限将无法合成.更多产品与服务.传统...
来自: 云产品
< 1 2 3 >
共有3页 跳转至: GO
产品推荐
云服务器 安全管家服务 安全中心
这些文档可能帮助您
文件存储HDFS版 文件存储NAS 数据库文件存储 云备份 弹性公网IP 短信服务

新品推荐

切换为移动版

新人特惠 爆款特惠 最新活动 免费试用