博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
eclipse debug调试mapreduce程序
阅读量:6360 次
发布时间:2019-06-23

本文共 1322 字,大约阅读时间需要 4 分钟。

hot3.png

1、将mapred-site.xml文件拷贝一份到项目中

    
        
mapreduce.framework.name
            
yarn
    
    
         
mapred.child.java.opts
         
-Xmx800m -Xdebug -Xrunjdwp:transport=dt_socket,server=y,suspend=y,address=8000
     
    
    
mapreduce.jobtracker.staging.root.dir
    
/tmp
  
   
    
yarn.app.mapreduce.am.staging-dir
    
/tmp
  
  
    
mapreduce.framework.name
    
local
  
  
    
mapreduce.jobtracker.address
    
local
  
mapred.job.tracker
local

2、在项目中加入本地mapred-site.xml配置,从本地项目中读取配置文件运行,在reduce中debug

 Job job = new Job(conf, "word count");     conf.addResource("classpath:/Hadoop01/mapred-site.xml");     conf.set("fs.defaultFS", "hdfs://192.168.1.10:9008");     conf.set("mapreduce.framework.name", "yarn");     conf.set("yarn.resourcemanager.address", "192.168.1.10:8032");     conf.set("mapred.remote.os", "Linux");     conf.set("hadoop.job.ugi", "hadoop,hadoop");

转载于:https://my.oschina.net/u/1169079/blog/335548

你可能感兴趣的文章
RHEL系列网络配置2015083101
查看>>
MySql中添加用户,新建数据库,用户授权,删除用户,修改密码
查看>>
雨巷-戴望舒
查看>>
OpenCms创建网站过程图解——献给OpenCms的初学者们
查看>>
C++ 异常处理机制的实现
查看>>
Freebsd的ports命令
查看>>
分布式系统---幂等性设计
查看>>
【转】时钟周期,机器周期,指令周期的区别
查看>>
MYSQL 更新时间自己主动同步与创建时间默认值共存问题
查看>>
android 屏幕适配
查看>>
Android Activity的4种启动模式
查看>>
leetcode第一刷_Minimum Depth of Binary Tree
查看>>
pm2-webshell —— 基于浏览器的终端控制台
查看>>
Mysql基准测试
查看>>
Session 撰改演示
查看>>
【转】python3 发邮件实例(包括:文本、html、图片、附件、SSL、群邮件)
查看>>
事务隔离级别(图文详解)
查看>>
canvas系列教程08-canvas各种坑
查看>>
浅析package.json中的devdependencies 和 dependencies
查看>>
又一个 iOS 侧边栏组件: SideMenu
查看>>