在Java中，堆外内存泄漏通常是由于未正确释放使用了堆外内存的资源所导致的。下面是一些排查堆外内存泄漏的常见方法：
使用JVM工具进行监测：可以使用JVM提供的命令行工具如jmap、jstat等来监测堆外内存的使用情况，例如使用jmap命令可以查看堆外内存的使用情况和分布情况。
使用内存分析工具进行分析：可以使用一些内存分析工具如Eclipse Memory Analyzer、VisualVM等来分析堆外内存的使用情况，这些工具可以帮助识别哪些对象占用了大量的堆外内存，并显示相关的引用链，从而找出内存泄漏的可能原因。
检查代码中的资源释放：堆外内存的使用通常需要手动释放资源，例如调用ByteBuffer的clean方法来释放堆外内存。因此，需要检查代码中是否正确释放了使用了堆外内存的资源，避免资源未正确释放导致内存泄漏。
检查JNI代码：如果使用了JNI调用native方法，并在native方法中使用了堆外内存，那么需要检查native方法中是否正确释放了堆外内存资源。JNI代码中的内存泄漏往往比较难以发现和排查，因此需要仔细检查JNI代码的实现。
总之，排查Java堆外内存泄漏需要使用JVM工具和内存分析工具来监测和分析内存使用情况，并检查代码中的资源释放和JNI代码的实现，以找出可能导致内存泄漏的问题。