博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
eclipse运行mapreduce的wordcount
阅读量:4332 次
发布时间:2019-06-06

本文共 1526 字,大约阅读时间需要 5 分钟。

1,eclipse安装hadoop插件

插件下载地址:链接: https://pan.baidu.com/s/1U4_6kLFNiKeLsGfO7ahXew 提取码: as9e 

下载hadoop-eclipse-plugin-2.7.3.jar包,放入eclipse路径下(本人eclipse版本为eclipse mars,路径为C:\Users\Administrator\.p2\pool\plugins,其他版本可直接放入eclipse安装路径下的plugin)

2,安装hadoop到本地,并配置环境变量

HADOOP_HOME:C:\hadoop-2.7.2PATH后面追加%HADOOP_HOME%\bin;%HADOOP_HOME%\sbin;

  

 3,修改hadoop配置文件hadoop-2.7.2\etc\hadoop\hadoop-env.cmd(JAVA_HOME路径中的空格会导致错误,所以此处单独处理)

set JAVA_HOME="C:\Program Files"\Java\jdk1.8.0_45

4,配置eclipse中hadoop路径

5,window-show views-other-Map/Reduce location,打开mapreduce窗口

6,点击右侧大象,在窗口中配置大数据服务器地址,若host中已配置ip映射可直接使用域名,否则填写集群ip地址

 

 

 

 7,左侧窗口出现集群连接信息,目录应同直接在浏览器访问时相同。

8,右键,新建mapreduce项目wordcount

9,将源码中wordcount.java类复制到项目中,代码路径hadoop-2.7.7-src\hadoop-mapreduce-project\hadoop-mapreduce-client\hadoop-mapreduce-client-jobclient\src\test\java\org\apache\hadoop\mapred

源码下载地址:链接: https://pan.baidu.com/s/1yRRymdG2hyhbv-PJjj_21w 提取码: 7chz 

10,将log4j.properties文件放入项目src下,文件路径hadoop-2.7.7-src\hadoop-common-project\hadoop-common\src\test\resources

11,在集群创建输入文件夹,并修改权限

hadoop fs -mkdir /hadoopTesthadoop fs -chmod -R 777 /hadoopTest

 

12,右键点击hadoopTest,创建input文件夹,注意不要创建output文件夹,若有页需要删除,因为执行程序会自动创建此文件夹

13,右键上传文件,将需要统计的文本,上传到input目录

14,右键wordcount项目,点击run configuration,配置执行执行参数

15,点击apply,再点击run按钮,执行程序,再查看dfs locations,发现多了output目录,下面有程序执行结果

16,如果程序执行报错:org.apache.hadoop.io.nativeio.NativeIO$Windwos.access0需要从源码中copy出NativeIO类,放入项目中,修改access方法,改为return0。注意,必须从源码中得到,从jar中得到的类是没有此方法的

 

转载于:https://www.cnblogs.com/javadongx/p/hadoop_mapredue_wordcount_eclipse.html

你可能感兴趣的文章
小D课堂 - 新版本微服务springcloud+Docker教程_3-06 服务注册和发现之Eureka Client搭建商品服务实战...
查看>>
小D课堂 - 新版本微服务springcloud+Docker教程_3-07 Eureka服务注册中心配置控制台问题处理...
查看>>
小D课堂 - 新版本微服务springcloud+Docker教程_4-01 常用的服务间调用方式讲解
查看>>
小D课堂 - 新版本微服务springcloud+Docker教程_4-02 微服务调用方式之ribbon实战 订单调用商品服务...
查看>>
小D课堂 - 新版本微服务springcloud+Docker教程_4-03 高级篇幅之Ribbon负载均衡源码分析实战...
查看>>
小D课堂 - 新版本微服务springcloud+Docker教程_4-06 Feign核心源码解读和服务调用方式ribbon和Feign选择...
查看>>
小D课堂 - 新版本微服务springcloud+Docker教程_4-05 微服务调用方式之feign 实战 订单调用商品服务...
查看>>
小D课堂 - 新版本微服务springcloud+Docker教程_5-02 Netflix开源组件断路器
查看>>
小D课堂 - 新版本微服务springcloud+Docker教程_5-01分布式核心知识之熔断、降级
查看>>
小D课堂 - 新版本微服务springcloud+Docker教程_5-04 feign结合hystrix断路器开发实战下...
查看>>
小D课堂 - 新版本微服务springcloud+Docker教程_5-03 feign结合hystrix断路器开发实战上...
查看>>
小D课堂 - 新版本微服务springcloud+Docker教程_6-01 微服务网关介绍和使用场景
查看>>
小D课堂 - 新版本微服务springcloud+Docker教程_5-05熔断降级服务异常报警通知
查看>>
小D课堂 - 新版本微服务springcloud+Docker教程_6-03 高级篇幅之zuul常用问题分析
查看>>
小D课堂 - 新版本微服务springcloud+Docker教程_5-08 断路器监控仪表参数
查看>>
小D课堂 - 新版本微服务springcloud+Docker教程_6-02 springcloud网关组件zuul
查看>>
小D课堂-SpringBoot 2.x微信支付在线教育网站项目实战_2-1.快速搭建SpringBoot项目,采用Eclipse...
查看>>
小D课堂-SpringBoot 2.x微信支付在线教育网站项目实战_1-4.在线教育后台数据库设计...
查看>>
小D课堂-SpringBoot 2.x微信支付在线教育网站项目实战_2-3.热部署在Eclipse和IDE里面的使用...
查看>>
小D课堂-SpringBoot 2.x微信支付在线教育网站项目实战_1-3.在线教育站点需求分析和架构设计...
查看>>