transwarp环境下Hive创建表并通过Sqoop导入数据

这篇文章主要讲解了“transwarp环境下Hive创建表并通过Sqoop导入数据”，文中的讲解内容简单清晰，易于学习与理解，下面请大家跟着小编的思路慢慢深入，一起来研究和学习“transwarp环境下Hive创建表并通过Sqoop导入数据”吧！

//第一步 先把oracle中的数据导入到hdfs下面 执行导入命令之前 需要创建日志文件目录 /root/nantong_out/以及hdfs导入文件目录/jssdatas/nantong/ 其中/e_mp_cur_curve 目录会在导入语句中自动创建，不需要单独创建。
nohup sqoop import --connect jdbc:oracle:thin:@192.168.2.155:1521:orcl --username nantong --password nantong123 --fetch-size 1000 -m 1 --target-dir /jssdatas/nantong/e_mp_cur_curve/ --query "select * from e_mp_cur_curve where \$CONDITIONS" --fields-terminated-by '\001' &>/root/nantong_out/e_mp_cur_curve.out &

//第二步 创建表 并把表和数据文件关联 use databasename 用哪个数据库就会在哪个数据库下面建表 建表时会指定对应的数据文件，这样数据就可以关联起来了 
create external table e_mp_cur_curve ( id string,data_date string,phase_flag int,data_whole_flag string,data_point_flag int,i1 double,i2 double,i3 double,i4 double,i5 double,i6 double,i7 double,i8 double,i9 double,i10 double,i11 double,i12 double,i13 double,i14 double,i15 double,i16 double,i17 double,i18 double,i19 double,i20 double,i21 double,i22 double,i23 double,i24 double,i25 double,i26 double,i27 double,i28 double,i29 double,i30 double,i31 double,i32 double,i33 double,i34 double,i35 double,i36 double,i37 double,i38 double,i39 double,i40 double,i41 double,i42 double,i43 double,i44 double,i45 double,i46 double,i47 double,i48 double,i49 double,i50 double,i51 double,i52 double,i53 double,i54 double,i55 double,i56 double,i57 double,i58 double,i59 double,i60 double,i61 double,i62 double,i63 double,i64 double,i65 double,i66 double,i67 double,i68 double,i69 double,i70 double,i71 double,i72 double,i73 double,i74 double,i75 double,i76 double,i77 double,i78 double,i79 double,i80 double,i81 double,i82 double,i83 double,i84 double,i85 double,i86 double,i87 double,i88 double,i89 double,i90 double,i91 double,i92 double,i93 double,i94 double,i95 double,i96 double ) row format delimited fields terminated by '\001' lines terminated by '\n' location '/jssdatas/nantong/e_mp_cur_curve';

//创建文件目录命令（普通文件目录命令没权限的情况下，按照以下来执行）
sudo -u hdfs hdfs dfs -mkdir /jssdatas/nantong/e_mp_cur_curve  //创建
sudo -u hdfs hdfs dfs -chmod /jssdatas/nantong/e_mp_cur_curve //赋权限
sudo -u hdfs hdfs dfs -ls /jssdatas/nantong/e_mp_cur_curve //查看
sudo -u hdfs hdfs dfs -rm -R /jssdatas/nantong/e_mp_cur_curve  //删除
sudo -u hdfs hdfs dfs -chown hive:hadoop /jssdatas/nantong/e_mp_cur_curve //给某用户赋权限

//普通文件目录命令
hdfs dfs -mkdir /jssdatas/nantong/e_mp_cur_curve  //创建
hdfs dfs -chmod /jssdatas/nantong/e_mp_cur_curve //赋权限
hdfs dfs -ls /jssdatas/nantong/e_mp_cur_curve //查看
hdfs dfs -rm -R /jssdatas/nantong/e_mp_cur_curve  //删除
 

感谢各位的阅读，以上就是“transwarp环境下Hive创建表并通过Sqoop导入数据”的内容了，经过本文的学习后，相信大家对transwarp环境下Hive创建表并通过Sqoop导入数据这一问题有了更深刻的体会，具体使用情况还需要大家实践验证。这里是亿速云，小编将为大家推送更多相关知识点的文章，欢迎关注！