创建并使用EMR Spark SQL节点
您可以通过创建EMR(E-MapReduce) Spark SQL节点,实现分布式SQL查询引擎处理结构化数据,提高作业的执行效率。
基于MaxCompute UDF进行SQL分析
面对MaxCompute无法直接调用外部API的限制,本文将通过一个完整的实践案例,教您如何利用“离线IP库+UDF”的方案,在MaxCompute中高效地实现IP地址归属地分析。
MaxCompute AI Function提供低代码、多引擎支持的预定义函数,简化大模型与机器学习推理在大数据场景中的应用。更加便捷的通过SQL或Python调用大模型和机器学习能力。
AI Function是MaxCompute提供的一组面向AI业务场景的预定义函数,将复杂的AI推理操作封装为简洁的SQL或Python算子。用户无需编写底层模型调用代码,即可通过标准SQL或MaxFrame(分布式Python引擎)直接调用大模型或机器学习模型,显著降低用户在数据处理、大数据分析等场景的AI使用门槛。
Serverless Spark支持通过自动或手动解冻OSS归档文件,确保SQL作业连续执行,需版本esr-4.4.0及以上。
当Spark作业需读取OSS归档存储中的数据时,因文件处于冻结状态无法直接访问,导致任务失败。本功能支持自动或手动触发解冻流程,确保作业正常执行,提升冷数据处理效率。
Lindorm Spark SQL节点,Lindorm Spark SQL
DataWorks的Lindorm Spark SQL节点可进行Lindorm Spark SQL任务的开发和周期性调度。本文为您介绍使用Lindorm Spark SQL节点进行任务开发的主要流程。
好程序员大数据培训分享SQL优化方案精解十则
好程序员大数据培训分享SQL优化方案精解十则:一、避免进行null判断。应尽量避免在 where 子句中对字段进行 null 值判断,否则将导致引擎放弃使用索引而进行全表扫描,这里最好不要给数据库留NULL,尽可能的使用 NOT NULL填充数据库。备注、描述、评论之类的可以设置为 NULL,最好不要使用NULL。不要错误的认为NULL 不需要空间,如char(100) 型,在字段建立时,空....
大数据干货 SQL优化方案精解十则
一、避免进行null判断 应尽量避免在 where 子句中对字段进行 null 值判断,否则将导致引擎放弃使用索引而进行全表扫描,这里最好不要给数据库留NULL,尽可能的使用 NOT NULL填充数据库。 备注、描述、评论之类的可以设置为 NULL,最好不要使用NULL。不要错误的认为NULL 不需要空间,如char(100) 型,在字段建立时,空间就固定了。不管是否插入值(NULL也包含在内)....
本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。