`
haoningabc
  • 浏览: 1449277 次
  • 性别: Icon_minigender_1
  • 来自: 北京
社区版块
存档分类
最新评论

hadoop ipc

HadoopUMLMyeclipseApacheWindows 
阅读更多
用cygwin在window上装hadoop，做namenode，一台redhat5做datanode
在windows上:
./bin/hadoop namenode -format
./bin/start-all.sh
后，windows上jps
$ jps
3656 Jps
1132 NameNode
3908 SecondaryNameNode
redhat5上jps
[root@122226 tmp]# jps
6193 TaskTracker
6887 Jps
6092 DataNod
似乎是启动了
但是
./bin/hadoop fs -ls
10/12/30 14:30:19 INFO ipc.Client: Retrying connect to server: /192.168.200.18:8888. Already tried 0 time(s).
可能是windows的cygwin对ipc有问题

顺便看一下源码\org\apache\hadoop\ipc中是怎么写的
就是用的nio，上csdn下个NIO+入门+-+IBM+教程.chm看就都有了

用myeclipse
new一个uml1 model，*.umr文件.
File -----> New --------> UML Model Repository 
然后转到MyEclipse UML 视图，然后菜单上点击UML——〉Reverse Engineer UML form java.... 然后把要转换为UML的JAVA文件前面打钩 就可以了。
org.apache.hadoop.ipc.Server为

org.apache.hadoop.ipc.Client为

org.apache.hadoop.ipc.RPC为

引用http://caibinbupt.iteye.com/blog/281281中的一句话“注意，它实现了Writable接口，可以串行化。
RPC.Server实现了org.apache.hadoop.ipc.Server，你可以把一个对象，通过RPC，升级成为一个服务器”
  • 大小: 56.1 KB
  • 大小: 35.2 KB
  • 大小: 23 KB
分享到：
| ubuntu删除virbr0
评论
发表评论

您还没有登录,请您登录后再发表评论

相关推荐

    org.apache.hadoop.ipc.Client: Retrying connect to server

    NULL 博文链接：https://ouyida3.iteye.com/blog/1144326

    Apress - Pro Hadoop

    　HDFS通信部分使用org.apache.hadoop.ipc，可以很快使用RPC.Server.start()构造一个节点，具体业务功能还需自己实现。针对HDFS的业务则为数据流的读写，NameNode/DataNode的通信等。 　MapReduce主要在org.apache....

    hadoop 1.2.1核心源码

    hadoop 1.2.1核心源码 包括 io,fs,ipc,net,http等类

    Hadoop client server通讯分析

    NULL 博文链接：https://demon3780.iteye.com/blog/1453862

    Hadoop rpc源码

    Hadoop rpc源码是从Hadoop分离出的ipc,去掉了认证部分,附录使用文档.使用前请add lib包commons-logging-*.*.*.jar(我用的是1.0.4)和log4j-*.*.*.jar(我的1.2.13) 相关blog post: ...

    【Spark】六、org.apache.hadoop.security.AccessControlException

    Exception in thread main org.apache.hadoop.security.AccessControlException: Permission ...Caused by: org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.security.AccessControlException): Permission

    Hadoop权威指南(第2版).

    HDFS通信部分使用org.apache.hadoop.ipc，可以很快使用RPC.Server.start()构造一个节点，具体业务功能还需自己实现。针对HDFS的业务则为数据流的读写，NameNode/DataNode的通信等。 MapReduce主要在org.apache....

    hadoop深入了解

    本人悉心整理的hadoop调研笔记，包括hdfs架构、mapreduce编程模型、hadoop的调度流算法、用户命令、管理员命令等，还有部分IPC包源代码分析。

    Hadoop（HDFS、YARN、HBase、Hive和Spark等）默认端口表

    50020 dfs.datanode.ipc.address 50075 dfs.datanode.http.address 50475 dfs.datanode.https.address 50010 dfs.datanode.address，DataNode的数据传输端口 8480 dfs.journalnode.rpc-address 8481 dfs.journalnode...

    Hadoop2.2.0集群在RHEL6.2下的安装实战

    本文介绍了一个Hadoop...（1）第一个是：DataNode启动了（使用jps可以看到进程），但是在NameNode中看不到（192.168.1.10:50070），花费大约3个小时时间查问题，根据logs目录的日志“org.apache.hadoop.ipc.Client:

    hadoop集群搭建时的问题

    自己搭集群用的 centos7 minimal 问题一 防火墙 一开始没装vmtools 手动...INFO ipc.Client: Retrying connect to server: linden10004/192.168.174.104:43012. Already tried 0 time(s); retry policy is RetryUpToMa

    old-data-import:将基于 parquet 的文件写入 HDFS 文件系统（在 Cloudera 上）并使用 Impala 进行访问

    异常：引起：org.apache.hadoop.ipc.RemoteException：权限被拒绝 要访问集群的 HDFS 文件系统，当前用户 $USER 必须在 namenode 上拥有一个帐户并具有对该目录的写入权限。 对于 Cloudera-VM 这意味着（对于 $USER ...

    关于hive元数据的错误

    Exception in thread “main” java.lang.RuntimeException: org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.hdfs.server.namenode.SafeModeException): Cannot create directory /tmp/hive/root/92f8b98...

    UNIX环境高级编程 第3版 中文版 高清 详细目录

    书中除了介绍UNIX文件和目录、标准I/O库、系统数据文件和信息、进程环境、进程控制、进程关系、信号、线程、线程控制、守护进程、各种I/O、进程间通信、网络IPC、伪终端等方面的内容，还在此基础上介绍了众多应用...

Magicbox
Global site tag (gtag.js) - Google Analytics