fs = FileSystem.get(conf);
}
}
在上述代码中,@Before是一个用于在Junit单元测试框架中控制程序最先执行的注解,这里可以保证init()方法在程序中最先执行 。
小提示:
FileSystem.get()方法从conf中的设置的参数 fs.defaultFS的配置值,用来设置文件系统类型 。如果代码中没有指定为fs.defaultFS,并且工程classpath下也没有给定相应的配置,则conf中的默认值就来自于hadoop-common-2.7.4.jar包中的core-default.xml,默认值为:“file:/// ”,这样获取的不是DistributedFileSystem实例,而是一个本地文件系统的客户端对象 。
3.上传文件到HDFS
初始化客户端对象后,接下来实现上传文件到HDFS的功能 。由于采用Java测试类来实现JavaApi对HDFS的操作,因此可以在HDFS_CRUD.java文件中添加一个testAddFileToHdfs()方法来演示本地文件上传到HDFS的示例,具体代码如下:
@Testpublic void testAddFileToHdfs() throws IOException { // 要上传的文件所在本地路径
Path src = https://www.msheying.com/news/new Path("D:/test.txt"); // 要上传到hdfs的目标路径
Path dst = new Path("/testFile"); // 上传文件方法
fs.copyFromLocalFile(src, dst); // 关闭资源
fs.close();
}
从上述代码可以看出,可以通过FileSystem对象的copyFromLocalFile()方法,将本地数据上传至HDFS中 。copyFromLocalFile()方法接收两个参数,第一个参数是要上传的文件所在的本地路径(需要提前创建),第二个参数是要上传到HDFS的目标路径 。
4.从HDFS下载文件到本地
在HDFS_CRUD.java文件中添加一个testDownloadFileToLocal()方法,来实现从HDFS中下载文件到本地系统的功能,具体代码如下:
// 从hdfs中复制文件到本地文件系统@Testpublic void testDownloadFileToLocal() throws IllegalArgumentException,
IOException { // 下载文件
fs.copyToLocalFile(new Path("/testFile"), new Path("D:/"));
fs.close();
}
从上述代码可以看出,可以通过FileSystem对象的copyToLocalFile()方法从HDFS上下载文件到本地 。copyToLocalFile()方法接收两个参数,第一个参数是HDFS上的文件路径,第二个参数是下载到本地的目标路径 。
注意:
在Windows平台开发HDFS项目时,若不设置Hadoop开发环境,则会报以下的错误:
java.io.IOException: (null) entry in command string: null chmod 0644 D:\testFile
解决方式:
(1)根据教材提示,安装配置windows平台hadoop(注意,配置后必须重启电脑),运行没有问题 。
(2)直接使用下载的hadoop linux平台下的压缩包进行解压,然后在解压包bin目录下额外添加windows相关依赖文件(winutils.exe、winutils.pdb、hadoop.dll),然后进行hadoop环境变量配置(注意,配置后必须重启电脑),运行同样没有问题 。
(3)使用FileSystem自带的方法即使不配置windows平台hadoop也可以正常运行(这种方法下载后就是没有附带一个类似.testFile.crc的校验文件):
fs.copyToLocalFile(false,new Path("/testFile"), new Path("D:/"),true);
5.目录操作
在HDFS_CRUD.java文件中添加一个
testMkdirAndDeleteAndRename()方法,实现目录的创建、删除、重命名的功能,具体代码如下:
// 创建,删除,重命名文件@Testpublic void testMkdirAndDeleteAndRename() throws Exception { // 创建目录
fs.mkdirs(new Path("/a/b/c"));
fs.mkdirs(new Path("/a2/b2/c2")); // 重命名文件或文件夹
fs.rename(new Path("/a"), new Path("/a3")); // 删除文件夹,如果是非空文件夹,参数2必须给值true
fs.delete(new Path("/a2"), true);
}
从上述代码可以看出,可以通过调用FileSystem的mkdirs()方法创建新的目录;调用delete()方法可以删除文件夹,delete()方法接收两个参数,第一个参数表示要删除的文件夹路径,第二个参数用于设置是否递归删除目录,其值为true或false,true表示递归删除,false表示非递归删除;调用rename()方法可以对文件或文件夹重命名,rename()接收两个参数,第一个参数代表需要修改的目标路径,第二个参数代表新的命名 。
6.查看目录中的文件信息
在HDFS_CRUD.java文件中添加一个testListFiles()方法,实现查看目录中所有文件的详细信息的功能,代码如下:
// 查看目录信息,只显示文件@Testpublic void testListFiles() throws FileNotFoundException,
秒懂生活扩展阅读
- 打印机需要连接网线吗
- 钉钉直播投屏教程 钉钉直播如何与电视连接
- 手机遥控器怎么跟电视连接
- 摩托车电启动怎样连接
- 这个连接光猫的网线断了能接吗
- 双钩子线怎么连接主线?
- 天猫精灵使用教程 天猫精灵怎么连接电视盒子
- 子线和主线的连接方法图解
- 漂座和鱼漂怎样连接?
- 夏普多媒体电视怎样连接宽带