zoukankan      html  css  js  c++  java
  • 使用Myeclipse 2015 进行 Hdp 4 windows 开发

    在本地环境下进行开发,使用cygwin安装 Hdp那就是一个呵呵岂能概括。

    所以啊,还是用Hdp windows进行开发测试吧。这样感觉省心点。具体 Hdp windows的安装参看前面的文章或自行Google。

     

    那为什么要用Java来开发Hdp呢? C# 本可以运行在 Hdp 4 windows的,通过最近一段时间对于它的了解,发现C#在Hadoop一族的上表现除了MR,OOZie,Hive之类还凑合着能用吧。其它如Strom除了运行在Azure上的功能外,并且VS.net也支持了,但暂时只能在Azure运行。对于不想使用它或不想受限于它来说,简直就是灾难。Hadoop的SDK更新方面有新生性也没有。

     

    我们还是用Java原生来开发一些应用,这样来得简单直白。

     

    1,下载Myeclipse 2015 。安装略,破解略(反正我先试用)。

    2,下载最新版本的插件。

    https://github.com/winghc/hadoop2x-eclipse-plugin/tree/master/release 

    我是用的最新的 2.60.

    3,再启动Eclipse 就可以找到MapReduce 视图了。

    image

     

    4,新建配置Hdfs 连接。

    image

    这个配置在我本机上,对于集群,权限方面可就不能这么干了。

    虽然我的User是 hadoop ,但对于实际访问还是Adminsitrator。所以,后面有一点里会提到,如果在权限方面进行“暂时”的解除。

     

    我查了有些资料说要把当前用户改成Hadoop用户,这样就可以了。(算了,我不改了,我更喜欢Administrator这个名字)

     

    下面就可以从DfsLoaction 里看到相应的文件系统了。

     

    5,对于 error permission denied: user=administrator

    image 

    既然也是开发环境,无所谓的事情了,关了安全验证。

    %hadoop_home%etchadoophdfs-site.xml

    <name>dfs.permissions.enabled</name>
       <value>false</value>

    重启,OK。

     

    image

     

    好了,有权限了。可以操作了。

     

    Over。

  • 相关阅读:
    python学习笔记(一):基本概念
    selenuim webDriver API 16种定位方式
    css属性之display行内标签 块级标签 隐藏显示
    python------面向对象编程
    网络编程---发送http请求
    python----tcp/ip http
    python基础_md5加密与加盐
    python-----环境变量
    低代码工具-page-pipepline
    模块化的构建工具
  • 原文地址:https://www.cnblogs.com/zbw911/p/4344289.html
Copyright © 2011-2022 走看看