2007-12-15

Nutch源代码学习小小总结一下

关键字: Nutch

我现在看得源码主要是网页抓取部分，这部分相对比较容易。我首先定位所有与网页抓取部分，大体看了整个流程后，然后几乎看了所有函数的实现，当然也有许多不太明白的，相信随着逐渐对整个代码的熟悉，这些疑问会逐渐解决。现在有一些疑问就是Nutch为什么没有使用异步的Socket和缓冲DNS来提高抓取的效率（或许我还没有找到）。
Nutch的代码整体上写的还算通俗易懂。但Nutch大量使用了Google的Map-Reduce思想，来简化了很多功能模块的设计，这对从来没有接触到Map-Reduce的初学者带来了很陡峭的学习曲线。可以这样说，没有对Map-Reduce的思想的深刻理解，读懂Nutch源码是非常困难的。呵呵，我现在还没有看到这部分，等研究研究一下Google的Map-Reduce再看这部分。

评论
发表评论

您还没有登录，请登录后发表评论

fuliang
搜索本博客
我的相册
7633f7ab-e7a9-3fa7-ab0d-919030af4eda-thumb
cooliris
共 9 张
存档
最新评论