《Hadoop-- 海量文件的分布式计算处理方案(转)》的相关内容
相关讨论
HADOOP的初次尝试
Hadoop的下载地址:
http://www.apache.org/dyn/closer.cgi/hadoop/core/
版本:hadoop0.17.1
JDK的安装:
要求必须安装jdk1.5.07以上的版本。
分步式环境的搭建:
1、 硬件环境
我们采用了3台机器来构建,都安装的是Red Hat 4.1.2-42系统,并且都有一个名为“mingjie“的帐号,如下:
...
by LIMIMGJIE 2008-09-05 浏览 (50) 回复 (0) 关键字: 分布式
HDFS用户指南(翻译)
HDFS用户指南
原文地址:http://hadoop.apache.org/core/docs/current/hdfs_user_guide.html
译者:dennis zhuang(killme2008@gmail.com),有错误请指正,多谢。
目的
本文档可以作为使用Hadoop分布式文件系统用户的起点,无论是将HDFS应用在一个Hado ...
by dennis_zane 2008-08-14 浏览 (2687) 回复 (3) 关键字: hdfs hadoop
相关博客
Hadoop入门[z]
Hadoop 是Google MapReduce的一个Java实现。MapReduce是一种简化的分布式编程模式,让程序自动分布到一个由普通机器组成的超大集群上并发执行。就如同java程序员可以不考虑内存泄露一样, MapReduce的run-time系统会解决输入数据的分布细节,跨越机器集群的程序执行调度,处理机器的失效,并且管理机器之间的通讯请求。这样的模式允许程序员可以不需要有什么并发处 ...
by liudaoru 2008-06-03 浏览 (170) 回复 (0) 关键字:
Hadoop-- 海量文件的分布式计算处理方案
Hadoop 是Google MapReduce的一个Java实现。MapReduce是一种简化的分布式编程模式,让程序自动分布到一个由普通机器组成的超大集群上并发执行。就如同java程序员可以不考虑内存泄露一样, MapReduce的run-time系统会解决输入数据的分布细节,跨越机器集群的程序执行调度,处理机器的失效,并且管理机器之间的通讯请求。这样的模 ...
by 江南白衣 2007-02-09 浏览 (480) 回复 (0) 关键字:
Hadoop--海量文件的分布式计算处理方案
作者:江南白衣,原文出处:http://www.blogjava.net/calvin/archive/2007/02/08/98688.html,转载请保留。
Hadoop 是Google MapReduce的一个Java实现。MapReduce是一种简化的分布式编程模式,让程序自动分布到一个由普通机器组成的超大集 ...
by gaoyuntao2005 2008-08-28 浏览 (9) 回复 (0) 关键字:
分布式文件系统:Getting Started with Hadoop(转载)
我一直都对分布式文件系统非常感兴趣,特别喜欢研究如何在庞大的廉价的异构系统集群上进行容错性良好的分布式存储。这些话题总是能吸引我的注意力。记得2002年的时候因公司的需要有机会实践了一把 OpenAFS 和 Coda ,印象深刻,呵呵。好了,闲话少叙,今天将要谈论的是后起之秀 Hadoop 。
Hadoop 是大名鼎鼎的 Lucene 旗下的子项目,它原先是 Nutch 项目的组成部分,于200 ...
by no7beckham 2008-06-19 浏览 (149) 回复 (0) 关键字:
相关圈子讨论
lucene的分布式
当数据量较大访问量较大的时候,分布式就不可避免,我现在知道的处理方式有下面几种:
1,用一个好服务器作为索引服务器,磁盘冗余的方式保证搜索的正常进行;
2,索引服务器用一台,检索服务器用分布式;
3,编写索引算法,分布式存放,检索时采用多线程搜索合并搜索结果返回;
4,索引分布式存储用硬件的方式保证索引文件的同步,检索也采用分布式。
大概知道的就这几个,现在想知道还有没有更好的方法?或 ...
by marine_chen 2007-06-29 浏览 (2411) 回复 (13)
Yahoo! Launches World's Largest Hadoop Production
Yahoo! Launches World's Largest Hadoop Production Application
February 19, 2008
Yahoo! recently launched what we believe is the worlds largest Apache Hadoop production application. The Yahoo! Search ...
by imjl 2008-02-20 浏览 (257) 回复 (1)

