在Java中，堆外内存通常是通过直接内存（Direct Memory）分配的。直接内存是一种不受Java堆内存管理的内存分配方式，它是通过调用系统的本地方法进行分配和释放的。
当出现堆外内存泄漏时，可以使用以下方法进行排查：
检查代码中直接内存的分配和释放：确保每次分配直接内存后都会手动释放。直接内存通常是通过ByteBuffer的allocateDirect()方法分配的，所以要确保在不需要使用时及时调用ByteBuffer的clear()或者dealocate()方法释放。
检查使用直接内存的代码逻辑：查看代码中是否存在不当的使用直接内存的情况，比如重复分配内存而没有及时释放。
使用内存分析工具：可以使用一些内存分析工具来查看直接内存的使用情况，比如VisualVM、Eclipse Memory Analyzer等。通过这些工具可以查看直接内存的分配和释放情况，以及定位可能存在的泄漏点。
监控系统内存使用：通过监控系统的内存使用情况，可以查看是否存在直接内存占用过高的情况。可以使用操作系统提供的工具，比如top、jstat等。
使用GC日志分析工具：Java虚拟机的GC日志中会有关于直接内存的信息，可以使用一些GC日志分析工具来分析GC日志，查看直接内存的分配和释放情况，以及可能存在的泄漏点。
总的来说，排查Java堆外内存泄漏主要是通过检查代码中直接内存的分配和释放情况，以及使用内存分析工具和GC日志分析工具来定位泄漏点。