论坛首页 综合技术版 数据结构和算法

Copy On Write Hash Map (线程同步相关)

浏览 6023 次
精华帖 (0) :: 良好帖 (1) :: 新手帖 (0) :: 隐藏帖 (0)
作者 正文
时间:2008-03-26
corvallis 写道
这个code本质还是 rwlock.所有的写操作用了sychronized, 还是lock. 另外每次写都要copy, 其实更差。按照cliff的测试。其实32个processor以下。ConcurrentMap足够。只有在更大的情况下。基于CAS的lockfree的数据结构才更有效



写是用了同步,但这个结果跟CAS有什么不一样吗?如果有原子的CAS一样可以用。

这种实现方式面向的是读比写多得多,比如1000:1以上,但数据量又不是很大,可能数百条以内。它对读操作的优化是显而易见的。
   
0 请登录后投票
时间:2008-03-26
seen 写道

我们是在就事论事 楼主给出的上下文就是rwlock


rwlock的r和w是互斥的,w和w也一样。

这里的方式不一样,r和w同时进行,虽然不是操作同一个数据,但在做到相同结果的同时,写尽量减少对读的影响比如线程等待。rwlock有个严重的问题是读很频繁时,写很难lock住,所以这里虽然提高了成本,但在高并发环境下反而可能更快。
   
0 请登录后投票
时间:2008-03-26
帖子原文中的相关内容
buaawhl 写道

Copy On Write Hash Map
我们在工作的过程中,经常遇到如下的需求:
用一个Map存放常用的Object,这个Map的并发读取的频率很高,而写入的频率很低,一般只在初始化、或重新装装载的时候写入。读写冲突虽然很少发生,不过一旦发生,Map的内部结构就可能乱掉,所以,我们不得不为Map加上同步锁。
...
在我们的Copy On Write Map中,我们只需要让新数据覆盖旧数据就可以了,因此不需要考虑版本控制的问题。这就大大简化了我们的实现。


qiezi 写道

找了一下,有种说法是WRRM (“Write Rarely Read Many”)数据结构。


看来,这个 WRRM 更加贴切.
COW 好像应用在很多场合 (存储结构,内存分配,等等), 很容易引起歧义.
Copy on Write 这个词比较酷.Write Rarely Read Many 就没有那么酷了.

----------------------

读写锁控制, 还是需要在读取之前, 有一个获取 读锁 的动作.
这里的情况, 是为了让 Map 的读取非常快, 尽量避免 overhead.
写的效率确实很低. 不过, 这里的 Map 主要是为了读. 写的情况很少.
   
0 请登录后投票
时间:2008-03-26
关于读写锁, 是在这里.

线程同步模型, 生产者/消费者, 读写同步,线程池,concurrent map.
http://www.javaeye.com/topic/174591

引用

读写模型

读写模型是一个稍微复杂一些的模型。
一份共享资源允许多个读者同时读取。但是只要有一个写者在写这份共享资源,任何其他的读者和写者都不能访问这份共享资源。
读写模型实现起来,不仅需要信号量机制,还需要额外的读者计数和写者计数。
public static final Object signal = new Object();
public static int readers = 0;
public static int writers = 0;

// 读者代码
… read() {

for(… ) { // 循环执行

synchronized(signal){
while( writers > 0 )
signal.wait(); // 如果有人在写,那么就放弃执行,进入待召队列

// 能够到达这里,说明没有人在写

readers ++ ; // 增加一个读者计数,表示本线程在读取
} // 这里出了synchronized范围,释放同步锁.以便其他线程读取.


// 进行一些读取操作

synchronized(signal){
readers --; // 读取完成,减少一个读者计数,表示本线程不在读取

signal.notifyAll(); // 通知待召队列里面的所有其他线程
}
}
}

// 写者代码
… write() {

for(… ) { // 循环执行

synchronized(signal){
while( writers > 0 || readers > 0)
signal.wait();// 如果有人在写或读,那么就放弃执行,进入待召队列

// 能够到达这里,说明没有人在写,也没有人在读

writers ++ ; // 增加一个写者计数,表示本线程在写

// 进行一些读取操作

writers --; // 读取完成,减少一个读者计数,表示本线程不在写

signal.notifyAll(); // 通知待召队列里面的所有其他线程
}
}
}

上述代码只是一段示意代码。实际应用中,人们通常抽取出来一个专门的读写同步锁。
interface ReadWriteLock {
… getReadLock();
… releaseReadLock();
… getWriteLock();
… releaseWriteLock();
}

具体的实现原理也是类似的信号量同步机制。
class RWLock {
… readers, writers;

… synchronized … getReadLock() { // 相当于synchronized(this)

while( writers > 0 )
this.wait(); // 这里我们把RWLock对象本身作为信号量
readers++;
}

…synchronized … releaseReadLock(){ //相当于synchronized(this)
readers--;
this.notifyAll(); // // 这里我们把RWLock对象本身作为信号量
}

…synchronized … getWriteLock(){// 相当于synchronized(this)
while( writers > 0 || readers > 0 )
this.wait(); // 这里我们把RWLock对象本身作为信号量

writers++;
}
…synchronized … releaseWriteLock(){// 相当于synchronized(this)
writers--;
this.notifyAll(); // // 这里我们把RWLock对象本身作为信号量
}
}

具体用法是
public static final RWLock lock = new RWLock();

… read() {
lock.getReadLock();
// 读取
lock.releaseReadLock();
}

… write() {
lock.getWriteLock();
// 读取
lock.releaseWriteLock();
}

这种用法要求在执行一些处理之前,一定要执行某项特殊操作,处理之后一定也要执行某项特殊操作。这种人为的顺序性,无疑增加了代码的耦合度,降低了代码的独立性。很有可能会成为线程死锁和资源操作冲突的根源。
这点一直让我不安,可是没有找到方法避免。毕竟,死锁或者资源操作冲突,是线程的固有问题。
很巧的是,正在我惴惴不安的时候,我的一个朋友提供了一个信息。Sun公司根据JCR,决定在jdk1.5中引入关于concurrency(并发)的部分。
以下这个网址是concurrency部分的util.concurrent一个实现。非常好的信息。对于处理多线程并发问题,很有帮助。
http://gee.cs.oswego.edu/dl/classes/EDU/oswego/cs/dl/util/concurrent/intro.html
里面提供了一个ReadWriteLock类,标准用法如下。
Standard usage of ReadWriteLock:
class X {
ReadWriteLock rw;
// ...
public void read() throws InterruptedException {
rw.readLock().acquire();
try {
// ... do the read
}
finally {
rw.readlock().release()
}
}
public void write() throws InterruptedException {
rw.writeLock().acquire();
try {
// ... do the write
}
finally {
rw.writelock().release()
}
}
}
我们可以看到,ReadWriteLock同样要求调用的顺序——aquire()和release()。我对自己的例子增强了一点信心。
我又查看了WriterPreferenceReadWriteLock类,看到里面成对的方法,startRead(),endRead();startWrite(),endWrite()。我的心情完全放松了下来。我的思路虽然粗糙,但大体的方向是正确的。
   
0 请登录后投票
时间:2008-03-26
关于concurrent map, 也是在这里.

线程同步模型, 生产者/消费者, 读写同步,线程池,concurrent map.
http://www.javaeye.com/topic/174591

buaawhl 写道

Concurrent Map
Concurrent Map的最简单的实现方法是直接用java.util.HashTable类,或者用Collections.synchronizedMap() 修饰某个Map。
这样获得的Map能够保证读写同步,但是,并发读的时候,也必须同步,串行读取,效率很低。这个思路显然不适合。
Doug Lea提供了一个Concurrent工具包,
http://gee.cs.oswego.edu/dl/classes/EDU/oswego/cs/dl/util/concurrent/intro.html
包括Lock, ReadWriteLock, CurrentHashMap, CurrentReaderHashMap等类。JDK1.5引入了这些类,作为java.util.concurrent Package。
我设想了一下,CurrentHashMap应该是采用ReadWriteLock实现读写同步。代码看起来应该像这个样子。

Java代码
// my guess
class CocurrentHashMap
{
Private Map map = null;
final ReadWriteLock rwLock = new …. ;
final Lock readLock = rwLock.readLock();
final Lock writeLock = rwLock.writeLock();

// decorate the map as concurrent
public CocurrentHashMap(Map m){
map = m;
}

// all write method, like put, putAll, remove, clear
public void putAll(Map m){
writeLock.lock();
try{
map.putAll(m);
}finally{
writeLock.unlock();
}
}

// all read method. like get, containsKey, containsValue, entrySet()
public Object get(Object key){
readLock.lock();
try{
return map.get(key);
}finally{
readLock.unlock();
}
};

// as we can see, in such places it is convenient to use AOP here. :-)


但看了CurrentHashMap 的代码,发现不是这样。其中的实现比较复杂,把Table分成段进行分别管理。那个内部类 Segment extends ReentrantLock。
里面的 readValueUnderLock 方法里面用了lock。
Java代码
/**
* Read value field of an entry under lock. Called if value
* field ever appears to be null. This is possible only if a
* compiler happens to reorder a HashEntry initialization with
* its table assignment, which is legal under memory model
* but is not known to ever occur.
*/
V readValueUnderLock(HashEntry<K,V> e) {
lock();
try {
return e.value;
} finally {
unlock();
}
}

我们再来看CurrentReaderHashMap, “A version of Hashtable that supports mostly-concurrent reading, but exclusive writing.”
http://gee.cs.oswego.edu/dl/classes/EDU/oswego/cs/dl/util/concurrent/ConcurrentReaderHashMap.java
但是它的 read ( get, contains, size …) 方法里面用到了synchronized。还是要获得系统锁。
   
0 请登录后投票
时间:2008-03-26
嗯 没错。 忽略了这是个为写操作很少的前提

qiezi 写道

写是用了同步,但这个结果跟CAS有什么不一样吗?如果有原子的CAS一样可以用。

这种实现方式面向的是读比写多得多,比如1000:1以上,但数据量又不是很大,可能数百条以内。它对读操作的优化是显而易见的。
   
0 请登录后投票
时间:2008-03-26
copy on write array list
ConcurrentHashMap
ReentrantLock
ReentrantReadWriteLock
CAS
我都有在用,JDK内置
一直都想写一些关于它们的文章,不过始终太松散,而且我是知道原理然后直接用API而已

我随便说一些
楼主的copy on write模式是可取的,JDK很早就引入copy on write array list来处理Listener部分,在写入非常非常少的情况下,copy on write其实是很好的。至于楼主的实现好不好就不知道了

ConcurrentHashMap用了多个锁来处理,里面有一个一个的bucket来隔离锁,默认就是16个bucket&锁。但是它也有缺点,就是不能保证数据绝对准确,例如他的size就是不准确的。但是它肯定是线程安全的

ReentrantLock是可以代替synchronized的东西,除了写起来比synchronized难稍稍。默认是non-fair模式,比synchronized快很多,如果改成fair就会下降到跟synchronized差不多

ReadWriteLock很简单,read不互斥,write互斥

CAS就是AtomicInteger之类的了,使用了CPU的交换指令,理论上比锁快,但是在高并发的环境一样会下降


你们还是看一下JDK源代码和JavaDoc好过了,你们的讨论本来就有答案的
   
0 请登录后投票
时间:2008-04-10
zgd 写道

CAS就是AtomicInteger之类的了,使用了CPU的交换指令,理论上比锁快,但是在高并发的环境一样会下降


CAS非常非常的快,比锁不是快一点半点。毕竟这是cpu原语级别的指令,jdk1.5中,这部分是native方式实现的,想模拟出让它性能大幅度下降的高并发环境很难。

标准的HashMap读的时候不会改动内部数据,楼主提出的问题似乎用ReentrantReadWriteLock就可以完美解决。
   
0 请登录后投票
时间:2008-04-26
再来挖一下坟。这个实现还可以有进一步的提高:那就是进一步提高写的效率。对于所有的有 lock 的 hashtable.一种基本的思路是partition lock。也就是说可以把这一个hashtable分成若干个子table。 而同步(复制)操作仅发生在每一个子table上。这样可以减少每次allocation的时间。对于 cache 的 locality也较好。

这里要解决的一个问题是如何保证hash key 的uniform distribution.一种比较naive的办法是, 基于java 的hashtable 的大小总是2的幂。可以选择子table的数量为一个质数 比如3,5,7,11 ..,. 对于每个object, 用key % size 来决定放入哪一个子table
   
0 请登录后投票
论坛首页 综合技术版 数据结构和算法

跳转论坛:
JavaEye推荐