Spark Task不可序列化/没有为第三方Jar定义的类
我一直在谷歌或Stackoverflow上搜索一个星期，仍然无法找到一个好的答案。我有一个化合物数据集，我需要使用第三方Jar来读取SDF中的这些化合物（类似JSON的数据格式）。然后我必须计算不同化合物之间的相似性。读取和计算需要非常复杂的化学细节，所以我不能自己重现这个功能。也就是说，我必须使用第三方Jar在Spark上的映射函数中运行该函数。Jar文件名为JCompoundMapper。它....
如何使用Spark结构化流媒体为Kafka流实现自定义反序列化？
我正在尝试迁移我当前的流媒体应用程序，这是基于使用RDD（从他们的文档）到他们使用结构化流媒体的新数据集API，我被告知这是使用Spark进行实时流媒体的首选方法。 目前，我的应用程序设置使用了一个名为“SATELLITE”的主题，该主题包含一个包含密钥时间戳和包含SatellitePOJO的值的消息。但是我在弄清楚如何为此实现反序列化器时遇到了问题。在我当前的应用程序中很简单，你只需在你的ka....
本页面内关键词为智能算法引擎基于机器学习所生成，如有任何问题，可在页面下方点击"联系我们"与我们沟通。