|
精华帖 (0) :: 良好帖 (1) :: 新手帖 (0) :: 隐藏帖 (0)
|
|
|---|---|
| 作者 | 正文 |
|
时间:2008-03-26
corvallis 写道 这个code本质还是 rwlock.所有的写操作用了sychronized, 还是lock. 另外每次写都要copy, 其实更差。按照cliff的测试。其实32个processor以下。ConcurrentMap足够。只有在更大的情况下。基于CAS的lockfree的数据结构才更有效
写是用了同步,但这个结果跟CAS有什么不一样吗?如果有原子的CAS一样可以用。 这种实现方式面向的是读比写多得多,比如1000:1以上,但数据量又不是很大,可能数百条以内。它对读操作的优化是显而易见的。 |
|
| 返回顶楼 | |
|
时间:2008-03-26
seen 写道 我们是在就事论事 楼主给出的上下文就是rwlock rwlock的r和w是互斥的,w和w也一样。 这里的方式不一样,r和w同时进行,虽然不是操作同一个数据,但在做到相同结果的同时,写尽量减少对读的影响比如线程等待。rwlock有个严重的问题是读很频繁时,写很难lock住,所以这里虽然提高了成本,但在高并发环境下反而可能更快。 |
|
| 返回顶楼 | |
|
时间:2008-03-26
帖子原文中的相关内容
buaawhl 写道 Copy On Write Hash Map 我们在工作的过程中,经常遇到如下的需求: 用一个Map存放常用的Object,这个Map的并发读取的频率很高,而写入的频率很低,一般只在初始化、或重新装装载的时候写入。读写冲突虽然很少发生,不过一旦发生,Map的内部结构就可能乱掉,所以,我们不得不为Map加上同步锁。 ... 在我们的Copy On Write Map中,我们只需要让新数据覆盖旧数据就可以了,因此不需要考虑版本控制的问题。这就大大简化了我们的实现。 qiezi 写道 找了一下,有种说法是WRRM (“Write Rarely Read Many”)数据结构。 看来,这个 WRRM 更加贴切. COW 好像应用在很多场合 (存储结构,内存分配,等等), 很容易引起歧义. Copy on Write 这个词比较酷.Write Rarely Read Many 就没有那么酷了. ---------------------- 读写锁控制, 还是需要在读取之前, 有一个获取 读锁 的动作. 这里的情况, 是为了让 Map 的读取非常快, 尽量避免 overhead. 写的效率确实很低. 不过, 这里的 Map 主要是为了读. 写的情况很少. |
|
| 返回顶楼 | |
|
时间:2008-03-26
关于读写锁, 是在这里.
线程同步模型, 生产者/消费者, 读写同步,线程池,concurrent map. http://www.javaeye.com/topic/174591 引用 读写模型 读写模型是一个稍微复杂一些的模型。 一份共享资源允许多个读者同时读取。但是只要有一个写者在写这份共享资源,任何其他的读者和写者都不能访问这份共享资源。 读写模型实现起来,不仅需要信号量机制,还需要额外的读者计数和写者计数。 public static final Object signal = new Object(); public static int readers = 0; public static int writers = 0; // 读者代码 … read() { for(… ) { // 循环执行 synchronized(signal){ while( writers > 0 ) signal.wait(); // 如果有人在写,那么就放弃执行,进入待召队列 // 能够到达这里,说明没有人在写 readers ++ ; // 增加一个读者计数,表示本线程在读取 } // 这里出了synchronized范围,释放同步锁.以便其他线程读取. // 进行一些读取操作 synchronized(signal){ readers --; // 读取完成,减少一个读者计数,表示本线程不在读取 signal.notifyAll(); // 通知待召队列里面的所有其他线程 } } } // 写者代码 … write() { for(… ) { // 循环执行 synchronized(signal){ while( writers > 0 || readers > 0) signal.wait();// 如果有人在写或读,那么就放弃执行,进入待召队列 // 能够到达这里,说明没有人在写,也没有人在读 writers ++ ; // 增加一个写者计数,表示本线程在写 // 进行一些读取操作 writers --; // 读取完成,减少一个读者计数,表示本线程不在写 signal.notifyAll(); // 通知待召队列里面的所有其他线程 } } } 上述代码只是一段示意代码。实际应用中,人们通常抽取出来一个专门的读写同步锁。 interface ReadWriteLock { … getReadLock(); … releaseReadLock(); … getWriteLock(); … releaseWriteLock(); } 具体的实现原理也是类似的信号量同步机制。 class RWLock { … readers, writers; … synchronized … getReadLock() { // 相当于synchronized(this) … while( writers > 0 ) this.wait(); // 这里我们把RWLock对象本身作为信号量 readers++; } …synchronized … releaseReadLock(){ //相当于synchronized(this) readers--; this.notifyAll(); // // 这里我们把RWLock对象本身作为信号量 } …synchronized … getWriteLock(){// 相当于synchronized(this) while( writers > 0 || readers > 0 ) this.wait(); // 这里我们把RWLock对象本身作为信号量 writers++; } …synchronized … releaseWriteLock(){// 相当于synchronized(this) writers--; this.notifyAll(); // // 这里我们把RWLock对象本身作为信号量 } } 具体用法是 public static final RWLock lock = new RWLock(); … read() { lock.getReadLock(); // 读取 lock.releaseReadLock(); } … write() { lock.getWriteLock(); // 读取 lock.releaseWriteLock(); } 这种用法要求在执行一些处理之前,一定要执行某项特殊操作,处理之后一定也要执行某项特殊操作。这种人为的顺序性,无疑增加了代码的耦合度,降低了代码的独立性。很有可能会成为线程死锁和资源操作冲突的根源。 这点一直让我不安,可是没有找到方法避免。毕竟,死锁或者资源操作冲突,是线程的固有问题。 很巧的是,正在我惴惴不安的时候,我的一个朋友提供了一个信息。Sun公司根据JCR,决定在jdk1.5中引入关于concurrency(并发)的部分。 以下这个网址是concurrency部分的util.concurrent一个实现。非常好的信息。对于处理多线程并发问题,很有帮助。 http://gee.cs.oswego.edu/dl/classes/EDU/oswego/cs/dl/util/concurrent/intro.html 里面提供了一个ReadWriteLock类,标准用法如下。 Standard usage of ReadWriteLock: class X { ReadWriteLock rw; // ... public void read() throws InterruptedException { rw.readLock().acquire(); try { // ... do the read } finally { rw.readlock().release() } } public void write() throws InterruptedException { rw.writeLock().acquire(); try { // ... do the write } finally { rw.writelock().release() } } } 我们可以看到,ReadWriteLock同样要求调用的顺序——aquire()和release()。我对自己的例子增强了一点信心。 我又查看了WriterPreferenceReadWriteLock类,看到里面成对的方法,startRead(),endRead();startWrite(),endWrite()。我的心情完全放松了下来。我的思路虽然粗糙,但大体的方向是正确的。 |
|
| 返回顶楼 | |
|
时间:2008-03-26
关于concurrent map, 也是在这里.
线程同步模型, 生产者/消费者, 读写同步,线程池,concurrent map. http://www.javaeye.com/topic/174591 buaawhl 写道 Concurrent Map Concurrent Map的最简单的实现方法是直接用java.util.HashTable类,或者用Collections.synchronizedMap() 修饰某个Map。 这样获得的Map能够保证读写同步,但是,并发读的时候,也必须同步,串行读取,效率很低。这个思路显然不适合。 Doug Lea提供了一个Concurrent工具包, http://gee.cs.oswego.edu/dl/classes/EDU/oswego/cs/dl/util/concurrent/intro.html 包括Lock, ReadWriteLock, CurrentHashMap, CurrentReaderHashMap等类。JDK1.5引入了这些类,作为java.util.concurrent Package。 我设想了一下,CurrentHashMap应该是采用ReadWriteLock实现读写同步。代码看起来应该像这个样子。 Java代码 // my guess class CocurrentHashMap { Private Map map = null; final ReadWriteLock rwLock = new …. ; final Lock readLock = rwLock.readLock(); final Lock writeLock = rwLock.writeLock(); // decorate the map as concurrent public CocurrentHashMap(Map m){ map = m; } // all write method, like put, putAll, remove, clear public void putAll(Map m){ writeLock.lock(); try{ map.putAll(m); }finally{ writeLock.unlock(); } } // all read method. like get, containsKey, containsValue, entrySet() public Object get(Object key){ readLock.lock(); try{ return map.get(key); }finally{ readLock.unlock(); } }; // as we can see, in such places it is convenient to use AOP here. :-) 但看了CurrentHashMap 的代码,发现不是这样。其中的实现比较复杂,把Table分成段进行分别管理。那个内部类 Segment extends ReentrantLock。 里面的 readValueUnderLock 方法里面用了lock。 Java代码 /** * Read value field of an entry under lock. Called if value * field ever appears to be null. This is possible only if a * compiler happens to reorder a HashEntry initialization with * its table assignment, which is legal under memory model * but is not known to ever occur. */ V readValueUnderLock(HashEntry<K,V> e) { lock(); try { return e.value; } finally { unlock(); } } 我们再来看CurrentReaderHashMap, “A version of Hashtable that supports mostly-concurrent reading, but exclusive writing.” http://gee.cs.oswego.edu/dl/classes/EDU/oswego/cs/dl/util/concurrent/ConcurrentReaderHashMap.java 但是它的 read ( get, contains, size …) 方法里面用到了synchronized。还是要获得系统锁。 |
|
| 返回顶楼 | |
|
时间:2008-03-26
嗯 没错。 忽略了这是个为写操作很少的前提
qiezi 写道 写是用了同步,但这个结果跟CAS有什么不一样吗?如果有原子的CAS一样可以用。 这种实现方式面向的是读比写多得多,比如1000:1以上,但数据量又不是很大,可能数百条以内。它对读操作的优化是显而易见的。 |
|
| 返回顶楼 | |
|
时间:2008-03-26
copy on write array list
ConcurrentHashMap ReentrantLock ReentrantReadWriteLock CAS 我都有在用,JDK内置 一直都想写一些关于它们的文章,不过始终太松散,而且我是知道原理然后直接用API而已 我随便说一些 楼主的copy on write模式是可取的,JDK很早就引入copy on write array list来处理Listener部分,在写入非常非常少的情况下,copy on write其实是很好的。至于楼主的实现好不好就不知道了 ConcurrentHashMap用了多个锁来处理,里面有一个一个的bucket来隔离锁,默认就是16个bucket&锁。但是它也有缺点,就是不能保证数据绝对准确,例如他的size就是不准确的。但是它肯定是线程安全的 ReentrantLock是可以代替synchronized的东西,除了写起来比synchronized难稍稍。默认是non-fair模式,比synchronized快很多,如果改成fair就会下降到跟synchronized差不多 ReadWriteLock很简单,read不互斥,write互斥 CAS就是AtomicInteger之类的了,使用了CPU的交换指令,理论上比锁快,但是在高并发的环境一样会下降 你们还是看一下JDK源代码和JavaDoc好过了,你们的讨论本来就有答案的 |
|
| 返回顶楼 | |
|
时间:2008-04-10
zgd 写道 CAS就是AtomicInteger之类的了,使用了CPU的交换指令,理论上比锁快,但是在高并发的环境一样会下降 CAS非常非常的快,比锁不是快一点半点。毕竟这是cpu原语级别的指令,jdk1.5中,这部分是native方式实现的,想模拟出让它性能大幅度下降的高并发环境很难。 标准的HashMap读的时候不会改动内部数据,楼主提出的问题似乎用ReentrantReadWriteLock就可以完美解决。 |
|
| 返回顶楼 | |
|
时间:2008-04-26
再来挖一下坟。这个实现还可以有进一步的提高:那就是进一步提高写的效率。对于所有的有 lock 的 hashtable.一种基本的思路是partition lock。也就是说可以把这一个hashtable分成若干个子table。 而同步(复制)操作仅发生在每一个子table上。这样可以减少每次allocation的时间。对于 cache 的 locality也较好。
这里要解决的一个问题是如何保证hash key 的uniform distribution.一种比较naive的办法是, 基于java 的hashtable 的大小总是2的幂。可以选择子table的数量为一个质数 比如3,5,7,11 ..,. 对于每个object, 用key % size 来决定放入哪一个子table |
|
| 返回顶楼 | |








