Web 界面查看 Nodes 信息

Web 界面查看 Nodes 信息

成功启动后，可以访问 Web 界面:  查看 NameNode 和 Datanode 信息，还可以在线查看 HDFS 中的文件。

（6）运行 Hadoop 伪分布式实例（grep 例子）
①创建实例目录 user/hadoop 上面的单机模式，grep 例子读取的是本地数据，伪分布式读取的则是 HDFS 上的数据。 要使用 HDFS，首先需要在 HDFS 中创建用户目录：

 ./bin/hdfs dfs -mkdir -p /user/hadoop

接着将 ./etc/hadoop 中的 xml 文件作为输入文件复制到分布式文件系统中，即将 /usr/local/hadoop/etc/hadoop 复制到分布式文件系统中的 /user/hadoop/input 中。
我们使用的是 hadoop 用户，并且已创建相应的用户目录 /user/hadoop ，因此在命令中就可 以使用相对路径如 input，其对应的绝对路径就是 /user/hadoop/input

②创建实例目录 user/hadoop/input,并复制所有的.xml 文件

 ./bin/hdfs dfs -mkdir input ./bin/hdfs dfs -put ./etc/hadoop/*.xml input 

复制完成后，可以通过如下命令查看文件列表：
./bin/hdfs dfs -ls input
伪分布式运行 MapReduce 作业的方式跟单机模式相同，区别在于伪分布式读取的是 HDFS 中的文件（可以将单机步骤中创建的本地 input 文件夹，输出结果 output 文件夹都删掉来 验证这一点）。

③运行实例
./bin/hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar grep input output 'dfs[a-z.]+'
查看运行结果的命令（查看的是位于 HDFS 中的输出结果）：
 ./bin/hdfs dfs -cat output/* 

结果如下，注意到刚才我们已经更改了配置文件，所以运行结果不同。

④下载文件 我们也可以将运行结果取回到本地：

 rm -r ./output    # 先删除本地的 output 文件夹（如果存在）
 ./bin/hdfs dfs -get output ./output     # 将 HDFS 上的 output 文件夹拷贝到本机 
 cat ./output/* 

Hadoop 运 行 程 序 时 ， 输 出 目 录 不 能 存 在 ， 否 则 会 提 示 错 误

    org.apache.hadoop.mapred.FileAlreadyExistsException: Output directory
    hdfs://localhost:9000/user/hadoop/output already exists

，因此若要再次执行，需要执行如 下命令删除 output 文件夹:

 ./bin/hdfs dfs -rm -r output    # 删除 output 文件夹 

错误：运行程序时，输出目录不能存在

运行 Hadoop 程序时，为了防止覆盖结果，程序指定的输出目录（如 output） 不能存在，否则会提示错误，因此运行前需要先删除输出目录。在实际开发应 用程序时，可考虑在程序中加上如下代码，能在每次运行时自动删除输出目 录，避免繁琐的命令行操作：
Configuration conf = new Configuration(); 
Job job = new Job(conf); 
/* 删除输出目录 */ 
Path outputPath = new Path(args[1]); outputPath.getFileSystem(conf).delete(outputPath, true); 

Configuration conf = new Configuration(); 
Job job = new Job(conf); 
/* 删除输出目录 */ 
Path outputPath = new Path(args[1]); outputPath.getFileSystem(conf).delete(outputPath, true);