IT技术网www.itjs.cn

当前位置:首页 > 操作系统 > Linux > Ubuntu > linux下hadoop配置过程

linux下hadoop配置过程

发布时间:2010-10-01 19:18 来源:未知

1,安装linux

复制代码代码如下:

然后是jdk:

复制代码代码如下:

复制代码代码如下:

这个命令之后需要多按几次回车,知道再次出现命令提示符。当然,这个做法也不是很安全,里面有个输入key的地方,官方的建议是,输入一首歌的歌词,呵呵,这个建议很搞笑。当然在我的步骤中,这个key就是空值了。

复制代码代码如下:

然后把整个.ssh文件夹考到所有对节点上,具体方法可以使用scp命令,具体命令由于和具体环境有关,下面不写。

这样网络就设置对差不多了。

当然具体的值,也要根据具体情况进行更改。

复制代码代码如下:

这个例子很直白,不解释。

masters里面是jobtracker和namenode所在节点的主机名或者ip地址,我的masters文件里只有一行,当然假如你想要设置多个节点作为主节点,也可以。

复制代码代码如下:

不出意外的话,现在hadoop就可以使用了。

Hadoop是一个分布式系统基础架构,由Apache基金会开发。用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力高速运算和存储。Hadoop实现了一个分布式文件系统(Hadoop Distributed File System),简称HDFS。HDFS有着高容错性的特点,并且设计用来部署在低廉的(low-cost)硬件上。而且它提供高传输率(high throughput)来访问应用程序的数据,适合那些有着超大数据集(large data set)的应用程序。HDFS放宽了(relax)POSIX的要求(requirements)这样可以流的形式访问(streaming access)文件系统中的数据。