一种基于动态封装的用户自定义函数实现方法及系统
摘要:
本申请提供一种基于动态封装的用户自定义函数实现方法及系统,通过动态加载用户业务类,并将类中指定业务实现方法的调用过程封装在Scala Function类中,构建出一个通用的Spark UDF供用户提交Spark SQL时使用,使得用户可以根据自己的开发规范和语法结构进行常规业务开发,而不需要受到SparkUDF编写规则和语法约束的限制,减少用户的学习和开发成本,同时解除业务代码与Spark框架的绑定,使得业务代码能够很容易的集成到其他组件中,提高业务代码的可复用性。
0/0