如何通过DataWorks对Lindorm计算引擎的各类作业进行开发和调度运维
Lindorm计算引擎兼容CDH（Cloudera's Distribution Including Apache Hadoop），支持通过大数据开发治理平台DataWorks开发、管理、调度、运维分布式计算作业。作业类型包括交互式SQL查询、SQL作业、JAR作业、Python作业等。本文介绍如何通过DataWorks对Lindorm计算引擎的各类作业进行开发和调度运维。
如何查看开发节点任务的运维信息_数据资源平台(DRP)
开发环境节点部署或者上线失败后，可查看节点任务的运维信息，以便快速定位失败原因。本文介绍如何查看开发环境节点任务的运维信息。
如何查看开发场景运维信息_云原生数据仓库 AnalyticDB PostgreSQL版(AnalyticDB for PostgreSQL)
场景部署成功后，可查看开发环境场景的节点列表、部署日志和运行日志，以便在场景运行失败时快速定位失败原因。任务流列表会显示整个场景的节点流程图和节点列表，本文介绍如何查看开发环境场景运维信息。
开发与运维自动化服务台的审计事件
自动化服务台（IaCService）已与操作审计服务集成，您可以在操作审计中查询用户操作自动化服务台产生的管控事件。操作审计支持将管控事件投递到日志服务SLS的LogStore或对象存储OSS的存储空间中，满足实时审计、问题回溯分析等需求。操作审计记录了用户通过OpenAPI或控制台等方式操作云资源...
基础软件市场/开发运维市场平台服务费调整通知
尊敬的云市场服务商：感谢一直以来对云市场平台的支持和信任，结合平台发展及帮助ISV在阿里云云市场更好的发展和经营，云市场将于2023年5月1日起调整开发运维市场和软件市场平台服务费，即：2023年5月1日1.基础软件市场平台服务费，从10%下调为5%，按照当月应结算订单实收现金交易总额的5%收取平台...
【大数据开发运维解决方案】Sqoop增量同步Oracle数据到hive：merge-key再次详解
前言对于sqoop增量同步Oracle数据到hive的命令参数以及如何定制自动增量job的测试已经再前面几篇文章详细测试过了，这篇文章是基于上面连接的文章继续做的拓展，上篇文章结尾说了如果一个表很大。我第一次初始化一部分最新的数据到hive表，如果没初始化进来的历史数据今天发生了变更，那merge-key的增量方式会不会报错呢？之所以会提出这个问题，是因为笔者真的有这个测试需求，接下来先对ora....
【大数据开发运维解决方案】Kylin消费Kafka数据流式构建cube
文章开始之前先说明环境情况，这里kylin消费的kafka数据是从Oracle 数据库用Ogg For Bigdata以json格式将数据投递到kafka topic的，投递的时候，关于insert和update 之前的数据投递到名为 ZTVOUCHER_INS 的topic，而delete和update之后的数据投递到名为 ZTVOUCHER_DEL 的topic中，这里主要介绍kylin如何....
【大数据开发运维解决方案】Sqoop增量同步mysql/oracle数据到hive(merge-key/append）测试文档
上一篇文章介绍了sqoop全量同步数据到hive，本片文章将通过实验详细介绍如何增量同步数据到hive，以及sqoop job与crontab定时结合无密码登录的增量同步实现方法。一、知识储备在生产环境中，系统可能会定期从与业务相关的关系型数据库向Hadoop导入数据，导入数仓后进行后续离线分析。故我们此时不可能再将所有数据重新导一遍，此时我们就需要增量数据导入这一模式了。增量数据导入分两种，一....
【大数据开发运维解决方案】Sqoop全量同步mysql/Oracle数据到hive
前面文章写了如何部署一套伪分布式的handoop+hive+hbase+kylin环境,也介绍了如何在这个搭建好的伪分布式环境安装配置sqoop工具以及安装完成功后简单的使用过程中出现的错误及解决办法，接下来本篇文章详细介绍一下使用sqoop全量同步oracle/mysql数据到hive，这里实验采用oracle数据库为例，后面一篇文章将详细介绍：1、sqoop --incremental ap....
【大数据开发运维解决方案】sqoop增量导入oracle/mysql数据到hive时时间字段为null处理
前面几篇文章详细介绍了sqoop全量增量导入数据到hive，大家可以看到我导入的数据如果有时间字段的话我都是在hive指定成了string类型，虽然这样可以处理掉时间字段在hive为空的问题，但是在kylin创建增量cube时需要指定一个时间字段来做增量，所以上面那种方式不行，这里的处理方式为把string改成timestamp类型，看实验：一、源库创建测试表创建测试表：create table....
本页面内关键词为智能算法引擎基于机器学习所生成，如有任何问题，可在页面下方点击"联系我们"与我们沟通。
