运维效率提升
营销活动峰值时自动扩容
视野数科成立于 2014 年,是专注服务于一级市场、公司信贷、产业规划招商、面向多层次资本市场的大数据金融信息服务商。视野数科深度理解大型银行、金融机构、政府、企业集团等用户对于数据的需求,为客户呈现专业加工后的数据,提供企业/产业/财务数据整合、数据加工处理、数据中台、系统开发和大数据模型分析咨询服务的一整套解决方案。
和众多的金融科技公司一样,视野数科是自建 IDC + 公有云混合部署的模式。而在上云的探索中,视野数科一直是行业的先行者。早在 2014 年,视野数科基于阿里云 ECS 服务器,使用开源自建+云产品组合使用,搭建了第一代基础设施云:整个架构以数据为核心,包括 SaaS 化数据服务平台、安全接入和防护、数据服务层,数据处理层、云安全等。
作为一家科技行业的创业公司来说,在创业之初是需要将业务快速跑起来,最初所有应用都是单体烟囱式架构、手工部署,但基于技术侧的短板,这些架构优化工作一直被耽搁。但近两年这类基于技术架构的问题被日益凸显。也就是说,数据是企业业务的核心资产,数据的安全、稳定和效率是服务大型客户的关键。在固有的模型下,视野数科测试环境无法获取客户全量真实数据,很多 case 覆盖不到,只能等上线前,在灰度环境(等同预发环境)频繁发版 & 测试的过程中才能暴露出一些问题:
开发迭代效率慢:单体烟囱式架构,代码耦合度高,开发效率慢。
上线流程复杂,成本高:使用 SVN 代码管理+人工部署,缺少规范化 DevOps 流程,每次上线前需要在灰度环境进行 20~30 次数据校验,频繁发版测试,开发和运维工作量大。
容器化自建成本高:尝试过 ECS + Docker 方案,但 Docker Daemon 升级、镜像 Registry 管理、配置管理、调度打散等均需自维护、研发。
容量预估无法自动化:每次客户侧有营销活动、重要事件(例如新华财经金融排名等),需提前一周告知视野数科备容 ECS,存在备容不准确,风险和闲置浪费问题。
在一次技术沟通会上,视野数科了解到 SAE,结合公司当时的技术背景,发现 SAE 和公司的技术升级改造有很高的契合度,不改代码、不改变应用现有的部署方式,就能享受到微服务 + Serverless + K8s 的完整体验。开箱即用,也免去后期的运维。视野数科开启了架构升级的践行之路。
从 0 到 1 打造 Git + Jenkins + SAE 的云原生 DevOps 体系。
通过 SAE 低门槛完成微服务架构转型,一步升级为微服务 + K8s + Serverless 架构。
以命名空间为维度,SAE 将应用划分至灰度、生产等环境,结合丰富的弹性策略和发布策略、一键式白屏化的应用生命周期管理能力、多样化的监控分析能力、增强的微服务能力,简化运维工作并降低成本。后续研发人员只需提交代码至 Jenkins,就可以实现自动部署。同时,SAE 实时日志功能和文件日志收集功能,方便研发人员自行聚合分析日志并对接业务日志。
持续演进,打造金融级云平台
因为金融行业的特殊性,在将 ECS 架构升级为 Serverless 架构的过程中,了解到了 SAE 的以下特性:
等保合规:在 ECS 模式下使用的云防火墙、DDoS、保垒机等安全防护产品还继续可以使用,SAE 也提供入侵检测和漏洞扫描。SAE 后来也支持了容器镜像服务企业版部署应用,支持镜像安全扫描及多维度漏洞报告,保障存储及内容安全。
安全隔离:SAE 同学告知用户流量侧无倾入,选择 JDK 为 Dragonwell 后续还能支持通信加密。底层基于安全沙箱容器 + VPC 网络,能实现系统 + 网络 + 数据的多重安全隔离。
操作审计:在 SAE 上的一些操作,可以通过 SAE 独有的发布单回溯变更历史。同时 SAE 也对接了云产品操作审计,能查询云上所有的操作行为日志和增删改查事件。
权限管控:SAE 还解决了一个老大难的问题:权限隔离和审批。以往 ECS 模式下,尤其是新人到岗或者跨团队联调时,配置用户组、RAM 权限,新机器登录连接方式,非常繁琐,账号管理人员也时常会成为瓶颈。更重要的是运维操作没有审批,风险不可控,开发都有机器的用户名和密码,发布比较随意。使用 SAE 后,以应用粒度添加权限,一个应用添加一次即可,省心省力。SAE 还通过主子账号设计了运维审批流程,有效收敛了线上随意发布带来的质量风险。
Serverless 应用引擎 SAE(Serverless App Engine)能帮助应用极速上云,免运维底层基础设施,降低开发运维成本,白屏化管理应用全生命周期。
视野数科在实践 SAE 的过程中,采用了独立业务+用户灰度的策略,逐渐放大流量,将业务陆续上线。
标准化部署流程,降低运维成本:借助 SAE,研发人员能够自助完成 CI/CD,提升发版效率。运维人员得到彻底解放,从重复繁杂的垂直业务上线事务中抽离出来,专注于横向高可用体系和监控平台的建设,运维效率提升 60%。
低门槛微服务架构转型:将业务拆成微服务之后,无需关心微服务周边配套和稳定性容灾,SAE 提供了开箱即用的、历经双 11 考验的全套微服务治理能力。
无需容量规划,秒级扩容:借助 SAE 灵活多样的弹性策略,视野数科再也无需提前备容,营销活动峰值时秒级自动扩容,峰谷时回收资源降本。
无感拥抱 K8s,查看日志更方便:借助 SAE 零门槛容器化,沿用原有部署方式管理应用。无需关注堡垒机权限、机器账号密码等,用户通过 SAE + SLS 即可便捷查看日志。