八、HDFS的一致性flush

发布时间:2020-06-06 18:15:17 作者:隔壁小白
来源:网络 阅读:545

一、背景

hdfs在写入的过程中,只有完全写入整个文件的内容之后,对其他client才会可见,否则在写入的过程中是不可见。如果想要立即可见,就需要一致性flush 的操作。

二、一致性flush

代码例子:

@Test
    public void writeFile() throws Exception{
        // 1 创建配置信息对象
        Configuration configuration = new Configuration();
        fs = FileSystem.get(configuration);

        // 2 创建文件输出流
        Path path = new Path("F:\\date\\H.txt");
        FSDataOutputStream fos = fs.create(path);

        // 3 写数据
        fos.write("hello Andy".getBytes());
        // 4 一致性刷新
        fos.hflush();

        fos.close();
    }

方法很简单,就是调用输出流的 hflush() 方法,刷写client的缓冲区,让其他client立即可以看到写入的内容。一般在并发读写的情况下,要求多个client的数据都是一致,就会要求这点。

推荐阅读:
  1. HDFS命令及管理HDFS
  2. HBase – Memstore Flush和flush shell操作 深度解析

免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:is@yisu.com进行举报,并提供相关证据,一经查实,将立刻删除涉嫌侵权内容。

hdfs一致性flush 一致 hdf

上一篇:Powershell: powershell 获取本机IP地址

下一篇:LR中的函数

相关阅读

您好,登录后才能下订单哦!

密码登录
登录注册
其他方式登录
点击 登录注册 即表示同意《亿速云用户服务条款》