HDFS文件系统JAVA api访问接口（基于hadoop大数据平台）

        在搭建完hadoop大数据系统（我是使用CDH5.16.1进行安装）后，如何访问hdfs文件系统上的数据呢？那当然是通过构建maven项目 使用java api接口进行文件了。为此，特别进行了hdfs文件系统java api访问的整理。下面就附录上我的CDH5.16.1平台上安装的各组件版本说明。说明：如果需要CDH5.16.1安装教程的，可以给我留言哦~

  1. jdk            版本：1.8.0_211
  2. hadoop         版本：2.6.0
  3. hive           版本：1.1.0
  4. impala         版本：2.12.0
  5. hbase          版本：1.2.0
  6. spark          版本：2.4.0
  7. oozie          版本：4.1.0
  8. hue            版本：3.9.0
  9. zk             版本：3.4.5
  10. kafka          版本：2.1.0

     下面将通过java api进行hdfs的访问，我是通过maven project方式创建的项目，因为这样便于管理。

项目代码原文件链接下载地址：HDFS文件系统JAVA api访问接口（基于hadoop大数据平台）

附上核心代码：

  1. package com.hadoop.hdfs;
  2.  
  3. import java.io.File;
  4. import java.io.FileInputStream;
  5. import java.io.IOException;
  6. import java.net.URI;
  7. import java.net.URISyntaxException;
  8.  
  9. import org.apache.commons.lang.StringUtils;
  10. import org.apache.hadoop.conf.Configuration;
  11. import org.apache.hadoop.fs.BlockLocation;
  12. import org.apache.hadoop.fs.FSDataInputStream;
  13. import org.apache.hadoop.fs.FSDataOutputStream;
  14. import org.apache.hadoop.fs.FileStatus;
  15. import org.apache.hadoop.fs.FileSystem;
  16. import org.apache.hadoop.fs.Path;
  17. import org.apache.hadoop.io.IOUtils;
  18.  
  19. public class HdfsApi {
  20. 	private static String HDFS_URL = "hdfs://node-01:8020";
  21. 	private static FileSystem fs = null;
  22.  
  23. 	// 获取FS
  24. 	public static FileSystem getFs() throws IOException {
  25.  
  26. 		if (fs != null) {
  27. 			return fs;
  28. 		}
  29.  
  30. 		// 获取配置文件
  31. 		Configuration conf = new Configuration();
  32. 		if (StringUtils.isBlank(HDFS_URL)) {
  33. 			// 返回默认文件系统 如果在 Hadoop集群下运行，使用此种方法可直接获取默认文件系统
  34. 			try {
  35. 				fs = FileSystem.get(conf);
  36. 			} catch (IOException e) {
  37. 				e.printStackTrace();
  38. 			}
  39. 		} else {
  40. 			// 返回指定的文件系统,如果在本地测试，需要使用此种方法获取文件系统
  41. 			try {
  42. 				URI uri = new URI(HDFS_URL.trim());
  43. 				fs = FileSystem.get(uri, conf);
  44. 			} catch (URISyntaxException | IOException e) {
  45. 				e.printStackTrace();
  46. 			}
  47. 		}
  48.  
  49. 		return fs;
  50. 	}
  51.  
  52. 	// 关闭hdfs文件系统
  53. 	public static void closeFs() throws IOException {
  54. 		if (fs != null) {
  55. 			fs.close();
  56. 		}
  57. 	}
  58.  
  59. 	// 判断hdfs文件系统，文件是否存在
  60. 	public static boolean fileExists(String dirName) throws IOException {
  61. 		// 获取 FileSystem
  62. 		FileSystem fs = getFs();
  63.  
  64. 		return fs.exists(new Path(dirName));
  65. 	}
  66.  
  67. 	// 读取hdfs文件信息，并打印在控制台
  68. 	public static void readFile(String src) throws IOException {
  69. 		// 获取 FileSystem
  70. 		FileSystem fs = getFs();
  71. 		// 读的路径
  72. 		Path readPath = new Path(src);
  73. 		FSDataInputStream inStream = null;
  74. 		try {
  75. 			// 打开输入流
  76. 			inStream = fs.open(readPath);
  77. 			IOUtils.copyBytes(inStream, System.out, 4096, false);
  78. 		} catch (Exception e) {
  79. 			e.printStackTrace();
  80. 		} finally {
  81. 			IOUtils.closeStream(inStream);
  82. 		}
  83. 	}
  84.  
  85. 	// 上传文件至hdfs文件系统中
  86. 	public static void copyFileToHDFS(String src, String dst)
  87. 			throws IOException {
  88. 		// 获取filesystem
  89. 		FileSystem fs = getFs();
  90. 		// 本地路径
  91. 		File inFile = new File(src);
  92. 		// 目标路径
  93. 		Path outFile = new Path(dst);
  94. 		FileInputStream inStream = null;
  95. 		FSDataOutputStream outStream = null;
  96. 		try {
  97. 			// 打开输入流
  98. 			inStream = new FileInputStream(inFile);
  99. 			// 打开输出流
  100. 			outStream = fs.create(outFile);
  101.  
  102. 			IOUtils.copyBytes(inStream, outStream, 4096, false);
  103. 		} catch (Exception e) {
  104. 			// TODO: handle exception
  105. 		} finally {
  106. 			IOUtils.closeStream(inStream);
  107. 			IOUtils.closeStream(outStream);
  108. 		}
  109. 	}
  110.  
  111. 	// 从hdfs文件系统中下载文件
  112. 	public static void downLoadFromHDFS(String src, String dst)
  113. 			throws IOException {
  114. 		FileSystem fs = getFs();
  115. 		// 设置下载地址和目标地址
  116. 		fs.copyToLocalFile(false, new Path(src), new Path(dst), true);
  117. 	}
  118.  
  119. 	// 对hdfs文件系统中的文件,进行重命名和移动
  120. 	public static void renameMV(String src, String dst) throws IOException {
  121. 		FileSystem fs = getFs();
  122. 		fs.rename(new Path(src), new Path(dst));
  123. 	}
  124.  
  125. 	// 对hdfs文件系统中的文件,进行删除
  126. 	public static void delete(String fileName) throws IOException {
  127. 		FileSystem fs = getFs();
  128. 		fs.deleteOnExit(new Path(fileName));
  129. 	}
  130.  
  131. 	// 对hdfs文件系统中的文件,获取文件列表
  132. 	public static FileStatus[] listFile(String dirName) throws IOException {
  133. 		FileSystem fs = getFs();
  134. 		FileStatus[] fileStatuses = fs.listStatus(new Path(dirName));
  135. 		// for (FileStatus fileName : fileStatuses) {
  136. 		// System.out.println(fileName.getPath().getName());
  137. 		// }
  138. 		return fileStatuses;
  139. 	}
  140.  
  141. 	/**
  142. 	 * 查找某个文件在 HDFS集群的位置
  143. 	 * 
  144. 	 * @param filePath
  145. 	 * @return BlockLocation[]
  146. 	 */
  147. 	public static BlockLocation[] getFileBlockLocations(String filePath) {
  148. 		// 文件路径
  149. 		Path path = new Path(filePath);
  150.  
  151. 		// 文件块位置列表
  152. 		BlockLocation[] blkLocations = new BlockLocation[0];
  153. 		try {
  154. 			// 返回FileSystem对象
  155. 			FileSystem fs = getFs();
  156. 			// 获取文件目录
  157. 			FileStatus filestatus = fs.getFileStatus(path);
  158. 			// 获取文件块位置列表
  159. 			blkLocations = fs.getFileBlockLocations(filestatus, 0,
  160. 					filestatus.getLen());
  161. 		} catch (IOException e) {
  162. 			e.printStackTrace();
  163. 		}
  164. 		return blkLocations;
  165. 	}
  166.  
  167. 	// 对hdfs文件系统中的文件,创建目录
  168. 	public static void mkdir(String dirName) throws IOException {
  169. 		FileSystem fs = getFs();
  170.  
  171. 		if (fs.exists(new Path(dirName))) {
  172. 			System.out.println("Directory already exists!");
  173. 			fs.close();
  174. 			return;
  175. 		}
  176. 		fs.mkdirs(new Path(dirName));
  177. 	}
  178.  
  179. 	// 对hdfs文件系统中的文件,删除目录
  180. 	public static void deletedir(String dirName, boolean recursive)
  181. 			throws IOException {
  182. 		FileSystem fs = getFs();
  183. 		// true表示递归删除目录下所有文件
  184. 		// false就只能删除空目录
  185. 		fs.delete(new Path(dirName), recursive);
  186. 	}
  187.  
  188. 	public static void main(String[] args) throws IOException {
  189. 		HdfsApi.getFs();
  190.  
  191. 		// boolean fileExist = fileExists("/user/root/spark.txt");
  192. 		// System.out.println(fileExist);
  193. 		//
  194. 		// readFile("/user/root/spark.txt");
  195.  
  196. 		// copyFileToHDFS();
  197.  
  198. 		// copyFileToHDFS("d://test.jpg", "/user/root/up_test.jpg");
  199.  
  200. 		// downLoadFromHDFS("/user/root/up_test.jpg", "d://down_test.jpg");
  201.  
  202. 		// renameMV("/user/root/up_test.jpg", "/user/root/up_test_rename.jpg");
  203.  
  204. 		// delete("/user/root/up_test_rename.jpg");
  205.  
  206. 		listFile("/user/root/");
  207.  
  208. 		// BlockLocation[] blockBlockLocations =
  209. 		// getFileBlockLocations("/user/root/spark.txt");
  210. 		// for (BlockLocation block: blockBlockLocations){
  211. 		// System.out.println(block.toString());
  212. 		// }
  213.  
  214. 		// mkdir("/user/root/mkdir_Test");
  215.  
  216. 		// deletedir("/user/root/mkdir_Test", true);
  217.  
  218. 		HdfsApi.closeFs();
  219. 	}
  220.  
  221. }

文章最后，给大家推荐一些受欢迎的技术博客链接：

  1. JAVA相关的深度技术博客链接
  2. Flinak 相关技术博客链接
  3. Spark 核心技术链接
  4. 设计模式 —— 深度技术博客链接
  5. 机器学习 —— 深度技术博客链接
  6. Hadoop相关技术博客链接
  7. 超全干货--Flink思维导图，花了3周左右编写、校对
  8. 深入JAVA 的JVM核心原理解决线上各种故障【附案例】
  9. 请谈谈你对volatile的理解？--最近小李子与面试官的一场“硬核较量”
  10. 聊聊RPC通信，经常被问到的一道面试题。源码+笔记，包懂
  11. 深入聊聊Java 垃圾回收机制【附原理图及调优方法】

欢迎扫描下方的二维码或 搜索 公众号“大数据高级架构师”，我们会有更多、且及时的资料推送给您，欢迎多多交流！

                                           

       

注：本文转载自blog.csdn.net的不埋雷的探长的文章"https://blog.csdn.net/weixin_32265569/article/details/91473453"。版权归原作者所有，此博客不拥有其著作权，亦不承担相应法律责任。如有侵权，请联系我们删除。
复制链接
相关推荐
发表评论

评论记录：

未查询到任何数据！