论坛首页 综合技术版 企业应用

设计高性能网站架构-LLMP

浏览 22208 次
该帖已经被评为良好帖
作者 正文
最后更新时间:2008-03-21
memcache和squid也是必不可少的
   
0 请登录后投票
最后更新时间:2008-03-21
bluemeteor 写道
memcache和squid也是必不可少的

如果网站够大,以后考虑集群的时候,确实需要 memcache 来进一步提升响应速度, 但是squid我感觉没必要,因为python本身也可以很好的解决动态缓存的问题。

多一层squid架构,会影响整体速度。

douban.com 没有使用squid,yupoo.com 使用squid也是因为图片的链接是动态的,而 squid 对动态请求的命中率高很多。
   
0 请登录后投票
最后更新时间:2008-03-21
galaxystar 写道
bluemeteor 写道
memcache和squid也是必不可少的

如果网站够大,以后考虑集群的时候,确实需要 memcache 来进一步提升响应速度, 但是squid我感觉没必要,因为python本身也可以很好的解决动态缓存的问题。

多一层squid架构,会影响整体速度。

douban.com 没有使用squid,yupoo.com 使用squid也是因为图片的链接是动态的,而 squid 对动态请求的命中率高很多。


squid 在大型网站上使用的还是非常频繁的。不过对于squid的性能确实不能恭维,不过它可扩展的余地较大,而对于单纯的页面缓存来说,varnish是squid有力的竞争对手,不过varnish的局限性较高,好像局限在页面的缓存上。squid就不只如此,因为它会把数据缓存到硬盘,所以可以缓存大量的数据,比如说视频等等,varnish听说大部分是放在内存里的,有没有达人解释一下varnish的内部工作机制。

大型网站不用memcached倒是很少有听说,好像有一个国外网站pv超过1亿的,只用1master+7slave,但是memcached用了近100台呢
   
0 请登录后投票
最后更新时间:2008-03-21
ahuaxuan 写道

squid 在大型网站上使用的还是非常频繁的。不过对于squid的性能确实不能恭维,不过它可扩展的余地较大,而对于单纯的页面缓存来说,varnish是squid有力的竞争对手,不过varnish的局限性较高,好像局限在页面的缓存上。squid就不只如此,因为它会把数据缓存到硬盘,所以可以缓存大量的数据,比如说视频等等,varnish听说大部分是放在内存里的,有没有达人解释一下varnish的内部工作机制。

大型网站不用memcached倒是很少有听说,好像有一个国外网站pv超过1亿的,只用1master+7slave,但是memcached用了近100台呢


squid相应能力不高,不过确实用的网站很多,那时估计是因为lighty还未成熟,像 163,sina,以及taobao等大型网站,静态内容都是用squid来缓存的,且层次一般都是在apache前面。

现在的话,我感觉squid也就纯内存缓存,会有点优势,因为自身对文件内存化比较成熟了。
但如果走磁盘,lighty绝对有优势,本身lighty走磁盘和squid走内存,速度相差无几,而且linux下可以通过mount内存,当文件系统用,这样速度会快很多,相比使用squid,不需要跨进程,跨机器了。
   
0 请登录后投票
最后更新时间:2008-03-21
to lz

lighty应该是web server吧,它应该不能做缓存吧(个人理解,没有深入)。而squid只是缓存,不过好像它不是放在内存里的,而是在硬盘上的,varnish是放在内存里的,所以在大文件缓存问题上,选择放硬盘比较合适(使用squid较好),小文本缓存放内存速度更快(使用varnish较好)。
一般来说squid不只是缓存静态页面,比如实时性不是非常高的动态页面也通过squid来缓存,这个是lighty无法做到的。

周末正好可以学习一下lighty,呵呵,谢谢lz的介绍
   
0 请登录后投票
最后更新时间:2008-03-21
ahuaxuan 写道
to lz

lighty应该是web server吧,它应该不能做缓存吧(个人理解,没有深入)。而squid只是缓存,不过好像它不是放在内存里的,而是在硬盘上的,varnish是放在内存里的,所以在大文件缓存问题上,选择放硬盘比较合适(使用squid较好),小文本缓存放内存速度更快(使用varnish较好)。
一般来说squid不只是缓存静态页面,比如实时性不是非常高的动态页面也通过squid来缓存,这个是lighty无法做到的。

周末正好可以学习一下lighty,呵呵,谢谢lz的介绍


对,lighty没有内存缓存,动态缓存也不是很完美,所以比较遗憾,但是官方的说法是lighty本身比较轻量级,不想加太复杂的东西。
但是,lighty的并发量却是远远高于其他 web server,这样可以弥补一些劣势。

另外,squid是可以走内存的,不过需要重新编译。也可以通过mount内存来实现。

推荐研究下lighty,呵呵!不错的东东。
   
0 请登录后投票
最后更新时间:2008-03-21
谁说lighty不支持缓存?谁说lighty不支持内存缓存?lighty的缓存支持不要太强大!

http://trac.lighttpd.net/trac/wiki/Docs%3AModCache

mod_cache 对URL进行匹配,可以把动态网页缓存到硬盘文件当中去,可以设定各种缓存过期策略,支持正则表达式对URL的匹配,如果你做的是一个CMS类型的网站,用mod_cache配置一下,你就拥有了类似动态页面静态化的所有功能。

http://trac.lighttpd.net/trac/wiki/Docs%3AModMemCache

如果你运行的是图片服务器,而且是大量的细小的图片,并且在文件IO上面遇到的瓶颈,那么mod_mem_cache可以让你解脱,把文件内存缓存到memcached里面去,利用memcached的分布式能力,让你的内存缓存无限大。

http://trac.lighttpd.net/trac/wiki/Docs%3AModCML

如果你的网站很不幸是web2.0网站,页面很多部分都是动态化和用户状态有关的内容,那么lighty还支持让你用lua编程,实现页面局部的片断缓存。

嘿嘿,web端缓存,lighty在手,别无所求!
   
0 请登录后投票
最后更新时间:2008-03-21
呵呵,别把lighttpd吹得那么神。有空可以看看另一个选择——nginx
   
0 请登录后投票
最后更新时间:2008-03-21
robbin 写道
谁说lighty不支持缓存?谁说lighty不支持内存缓存?lighty的缓存支持不要太强大!


mod_cache stores caches to the filesystem rather than to memory in order to avoid memory leaks/exhaustion.
好像被这句话误解了,还以为不能使用,原来是推荐用文件系统。.汗死。。

不过研究lighty,确实没实战用过mod_cache,一直是自己本机玩玩, 感谢 robbin 推荐,研究下 mod_cache。
   
0 请登录后投票
最后更新时间:2008-03-21
diogin 写道
呵呵,别把lighttpd吹得那么神。有空可以看看另一个选择——nginx

首先 nginx 在功能上没有 lighty强,安全性也达不到 lighty的标准。

 

性能方面, 网上随便找了篇benchmark:

静态网页的比较:
index.html 是apache2 自带的 index.html.en 拷贝来的。

nginx(ports install):
mybsd# webbench -c 500 -2 http://192.168.8.249:82/index.html
Webbench - Simple Web Benchmark 1.5
Copyright (c) Radim Kolar 1997-2004, GPL Open Source Software.

Benchmarking: GET http://192.168.8.249:82/index.html (using HTTP/1.1)
500 clients, running 30 sec.

Speed=429908 pages/min, 12360223 bytes/sec.
Requests: 214954 susceed, 0 failed.

lighttpd(ports install):
mybsd# webbench -c 500 -2 http://192.168.8.249:81/index.html
Webbench - Simple Web Benchmark 1.5
Copyright (c) Radim Kolar 1997-2004, GPL Open Source Software.

Benchmarking: GET http://192.168.8.249:81/index.html (using HTTP/1.1)
500 clients, running 30 sec.

Speed=429182 pages/min, 12506485 bytes/sec.
Requests: 214591 susceed, 0 failed.

 

   
0 请登录后投票
论坛首页 综合技术版 企业应用

跳转论坛:
JavaEye推荐