Spark中怎么调用Jni程序

本篇文章给大家分享的是有关Spark中怎么调用Jni程序，小编觉得挺实用的，因此分享给大家学习，希望大家阅读完这篇文章后可以有所收获，话不多说，跟着小编一起来看看吧。

1.jni调用中的资源销毁问题处理。

           从saprk on yarn 模式下，每提交一次任务，就启动一组进程，并在任务完成后进程销毁，因此，只要确保全局资源只存在一份就可以保证不会发生内存泄漏，系统崩溃的情况。

 2.jni程序中的多个方法之间静态对象可共享。

3.corsegenbackend进程在任务提交时被创建，并在任务执行完成后被销毁，此进程个数在yarn模式下通过 --num-executors设置。

4.在spark上，任务可能跑在多个进程上，如果jni程序中包含C++静态对象，如何确保静态对象只被初始化加载一次？。

           解决方法：

              1.写在 mapparition中，但是被调用次数过多是个缺点。

              2.写在static块中，可以确保每个进程只对该方法调用一次。

5.spark中的mappartitions方法，如果在后台调用了一次 df.first();则可能会发生只被map一次的情况。

以上就是Spark中怎么调用Jni程序，小编相信有部分知识点可能是我们日常工作会见到或用到的。希望你能通过这篇文章学到更多知识。更多详情敬请关注亿速云行业资讯频道。