分布式系统之分》的相关内容

解决海量数据的新思路——分布式数据库

目前,分布式的概念越来越流行,但是在数据库领域里,分布式的应用相对较少。在参阅了Google的Map/Reduce概念后,我构思了一种分布式数据库的架构,并实现了其雏形,现在将其基本思路写出来,希望能起到抛砖引玉的作用。我工作时间不长,其中错误,不完善之处还请大家多多指出,谢谢。     设计这个分布式数据库的目的在于快速的处理海量数据。基本思路其实很简单,将数据分 ...
by chester60 2008-07-06 浏览 (19362) 回复 (50) 关键字:

参加4月4日Ben Wang的JBoss讲座纪实

今天下午赶到复旦大学三教3108去Ben Wang的JBoss讲座。由于听讲座的人比较多,教室临时从3209改到3108,2:30分,Ben在曹晓钢同学陪同下来的,曹晓钢同学最辛苦,上午去浦东机场接Ben。 在讲座开始前,和Ben进行了简单的交谈,感觉Ben是个谦谦君子,很有学者的气质,实际上他也确实是PhD,没有一点架子,很平易近人,很和蔼。 Ben讲座要介绍的内容很多,因此两个小时的演讲很 ...
by robbin 2004-04-05 浏览 (28185) 回复 (52) 关键字:

从分布式系统的角度看REST

上周末在杭州网侠大会做了关于REST的演讲。会后经过一些交流,特别是今天在msn上面和dlee的交流,感觉自己对于REST的理解更深入了一层。 我们说REST架构风格,从REST具备的内在特征来说,它包括了这些特征: 1、基于HTTP的资源 2、以HTTP协议去操作 3、数据和表象分离 但是如果我们换一个角度,即分布式应用系统的角度来看,我们会有一些更有意思的结论: 分布式应用系统的架构, ...
by robbin 2007-05-23 浏览 (42554) 回复 (69) 关键字: rest

有关分布式计算和集群的疑惑

希望有人可以耐心的看完并帮我解答一下这些问题,我已困惑多时了,网上查资料查了半天也没查出个所以然来。 引用分布式计算是一种把需要进行大量计算的工程数据分割成小块,由多台计算机分别计算,在上传运算结果后再统一合并得出数据结论 的科学。目前常见的分布式计算项目有通常使用世界各地上千万志愿者计算机的闲置计算能力,通过互联网进行数据传输。有分析地外无线电信号,从而搜索地外的生命迹象的SETI@home项 ...
by jeffrey_he 2004-05-13 浏览 (9277) 回复 (19) 关键字:

分布式计算开源框架Hadoop介绍

作者 岑文初 发布于 2008年8月4日 上午2时15分 关键字:网格计算 ,集群与缓存 ,Hadoop 在SIP项目设计的过程中,对于它庞大的日志在开始时就考虑使用任务分解的多线程处理模式来分析统计,在我从前写的文章《Tiger Concurrent Practice --日志分析并行分解设计与实现》中有所提到。但是由于统计的内容暂时还 ...
by johnnyhg 2008-08-07 浏览 (443) 回复 (0) 关键字: hadoop

分布式计算开源框架Hadoop介绍 作者:岑文初 来源:InfoQ  

在SIP项目设计的过程中,对于它庞大的日志在开始时就考虑使用任务分解的多线程处理模式来分析统计,在我从前写的文章《Tiger Concurrent Practice --日志分析并行分解设计与实现》中有所提到。但是由于统计的内容暂时还是十分简单,所以就采用Memcache作为计数器,结合MySQL就完成了访问控制以及统计的工作。然而未来,对于海量日志分析的工作,还是需要有所准备。现在最火的技术词汇 ...
by hengcai001 2008-09-04 浏览 (20) 回复 (0) 关键字:

lucene的分布式

当数据量较大访问量较大的时候,分布式就不可避免,我现在知道的处理方式有下面几种: 1,用一个好服务器作为索引服务器,磁盘冗余的方式保证搜索的正常进行; 2,索引服务器用一台,检索服务器用分布式; 3,编写索引算法,分布式存放,检索时采用多线程搜索合并搜索结果返回; 4,索引分布式存储用硬件的方式保证索引文件的同步,检索也采用分布式。 大概知道的就这几个,现在想知道还有没有更好的方法?或 ...
by marine_chen 2007-06-29 浏览 (2583) 回复 (13)

[zz]软件架构师成长之路

对于任何一个软件开发人员来说,架构师都是一个令人向往的角色。就连世界首富比尔盖茨在2000年卸任公司CEO的同时,也担任了微软公司的荣誉角色“首席软件架构师”,可见“架构师”这一称谓的吸引力。架构师是公司的“金领”,有着非常高的收入,很少需要考虑生存的问题,从而有更多的精力思考关键技术问题,形成“强者愈强”的良性循环。部分优秀的开发人员在工作了一定时间后,就要开始考虑自己的未来到底向哪个方向发展。 ...
by imjl 2007-08-10 浏览 (1213) 回复 (6)

google背后的分布式架构

Google背后的分布式计算架构策略 Google是与众不同的。它的独特不仅仅表现于革新的思维和充满创意的应用 (比如那个大堂里的地球模型),更在于其有别常规的IT策略……   加利福尼亚州山景城(Mountain View)Google公司(Google,下称Google)总部有一个43号大楼,该建筑的中央大屏幕上显示着一个与Google地球(Google Earth)相仿的世界地图,一个转动 ...
by dogstar 2008-05-29 浏览 (2052) 回复 (0)

单台服务器的索引大小最大到多少?

根据大家的经验单台搜索服务器可以支持的索引文件大小最大多大? 现在我用的服务器是: CPU 2颗双核 内存 4G 现在索引文件大小已经快3G了,所以担心单台会撑不住。
by grantbb 2007-12-10 浏览 (381) 回复 (3)

google search

这篇文章中,我们介绍了google,它是一个大型的搜索引擎(of a large-scale search engine)的原型,搜索引擎在超文 本中应用广泛。Google的设计能够高效地抓网页并建立索引,它的查询结果比其它现有系统都高明。这个原型的全文和超连接的数据库至少包含24‘000 ‘000个网页。我们可以从 http://google.stanford.edu/ 下载。 设 计搜索引擎 ...
by dogstar 2008-05-29 浏览 (628) 回复 (0)

相关问答

赞助商链接