如何在spring框架中解决多数据源的问题
关键字: 设计模式在我们的项目中遇到这样一个问题：我们的项目需要连接多个数据库，而且不同的客户在每次访问中根据需要会去访问不同的数据库。我们以往在spring和hibernate框架中总是配置一个数据源，因而sessionFactory的dataSource属性总是指向这个数据源并且恒定不变，所有DAO在使用sessionFactory的时候都是通过这个数据源访问数据库。但是现在，由于项目的需要，我们的DAO在访问sessionFactory的时候都不得不在多个数据源中不断切换，问题就出现了：如何让sessionFactory在执行数据持久化的时候，根据客户的需求能够动态切换不同的数据源？我们能不能在spring的框架下通过少量修改得到解决？是否有什么设计模式可以利用呢？
问题的分析
我首先想到在spring的applicationContext中配置所有的dataSource。这些dataSource可能是各种不同类型的，比如不同的数据库：Oracle、SQL Server、MySQL等，也可能是不同的数据源：比如apache 提供的org.apache.commons.dbcp.BasicDataSource、spring提供的org.springframework.jndi.JndiObjectFactoryBean等。然后sessionFactory根据客户的每次请求，将dataSource属性设置成不同的数据源，以到达切换数据源的目的。
但是，我很快发现一个问题：当多用户同时并发访问数据库的时候会出现资源争用的问题。这都是“单例模式”惹的祸。众所周知，我们在使用spring框架的时候，在beanFactory中注册的bean基本上都是采用单例模式，即spring在启动的时候，这些bean就装载到内存中，并且每个bean在整个项目中只存在一个对象。正因为只存在一个对象，对象的所有属性，更准确说是实例变量，表现得就如同是个静态变量（实际上“静态”与“单例”往往是非常相似的两个东西，我们常常用“静态”来实现“单例”）。拿我们的问题来说，sessionFactory在整个项目中只有一个对象，它的实例变量dataSource也就只有一个，就如同一个静态变量一般。如果不同的用户都不断地去修改dataSource的值，必然会出现多用户争用一个变量的问题，对系统产生隐患。
通过以上的分析，解决多数据源访问问题的关键，就集中在sessionFactory在执行数据持久化的时候，能够通过某段代码去根据客户的需要动态切换数据源，并解决资源争用的问题。
问题的解决
(一) 采用Decorator设计模式
要解决这个问题，我的思路锁定在了这个dataSource上了。如果sessionFactory指向的dataSource可以根据客户的需求去连接客户所需要的真正的数据源，即提供动态切换数据源的功能，那么问题就解决了。那么我们怎么做呢？去修改那些我们要使用的dataSource源码吗？这显然不是一个好的方案，我们希望我们的修改与原dataSource代码是分离的。根据以上的分析，使用GoF设计模式中的Decorator模式（装饰者模式）应当是我们可以选择的最佳方案。
什么是“Decorator模式”？简单点儿说就是当我们需要修改原有的功能，但我们又不愿直接去修改原有的代码时，设计一个Decorator套在原有代码外面。当我们使用Decorator的时候与原类完全一样，当Decorator的某些功能却已经修改为了我们需要修改的功能。Decorator模式的结构如图。
我们本来需要修改图中所有具体的Component类的一些功能，但却并不是去直接修改它们的代码，而是在它们的外面增加一个Decorator。Decorator与具体的Component类都是继承的AbstractComponent，因此它长得和具体的Component类一样，也就是说我们在使用Decorator的时候就如同在使用ConcreteComponentA或者ConcreteComponentB一样，甚至那些使用ConcreteComponentA或者ConcreteComponentB的客户程序都不知道它们用的类已经改为了Decorator，但是Decorator已经对具体的Component类的部分方法进行了修改，执行这些方法的结果已经不同了。
(二) 设计MultiDataSource类
现在回到我们的问题，我们需要对dataSource的功能进行变更，但又不希望修改dataSource中的任何代码。我这里指的dataSource是所有实现javax.sql.DataSource接口的类，我们常用的包括apache 提供的org.apache.commons.dbcp.BasicDataSource、spring提供的org.springframework.jndi.JndiObjectFactoryBean等，这些类我们不可能修改它们本身，更不可能对它们一个个地修改以实现动态分配数据源的功能，同时，我们又希望使用dataSource的sessionFactory根本就感觉不到这样的变化。Decorator模式就正是解决这个问题的设计模式。
首先写一个Decorator类，我取名叫MultiDataSource，通过它来动态切换数据源。同时在配置文件中将sessionFactory的dataSource属性由原来的某个具体的dataSource改为MultiDataSource。如图：
对比原Decorator模式，AbstractComponent是一个抽象类，但在这里我们可以将这个抽象类用接口来代替，即DataSource接口，而ConcreteComponent就是那些DataSource的实现类，如BasicDataSource、JndiObjectFactoryBean等。MultiDataSource封装了具体的dataSource，并实现了数据源动态切换：
- public class MultiDataSource implements DataSource {
- private DataSource dataSource = null;
- public MultiDataSource(DataSource dataSource){
- this.dataSource = dataSource;
- }
- /* (non-Javadoc)
- * @see javax.sql.DataSource#getConnection()
- */
- public Connection getConnection() throws SQLException {
- return getDataSource().getConnection();
- }
- //其它DataSource接口应当实现的方法
- public DataSource getDataSource(){
- return this.dataSource;
- }
- }
- public void setDataSource(DataSource dataSource) {
- this.dataSource = dataSource;
- }
- }
客户在发出请求的时候，将dataSourceName放到request中，然后把request中的数据源名通过调用new MultiDataSource(dataSource)时可以告诉MultiDataSource客户需要的数据源，就可以实现动态切换数据源了。但细心的朋友会发现这在单例的情况下就是问题的，因为MultiDataSource在系统中只有一个对象，它的实例变量dataSource也只有一个，就如同一个静态变量一般。正因为如此，单例模式让许多设计模式都不得不需要更改，这将在我的《“单例”更改了我们的设计模式》中详细讨论。那么，我们在单例模式下如何设计呢？
(三) 单例模式下的MultiDataSource
在单例模式下，由于我们在每次调用MultiDataSource的方法的时候，dataSource都可能是不同的，所以我们不能将dataSource放在实例变量dataSource中，最简单的方式就是在方法getDataSource()中增加参数，告诉MultiDataSource我到底调用的是哪个dataSource：
- public DataSource getDataSource(String dataSourceName){
- log.debug("dataSourceName:"+dataSourceName);
- try{
- if(dataSourceName==null||dataSourceName.equals("")){
- return this.dataSource;
- }
- return (DataSource)this.applicationContext.getBean(dataSourceName);
- }catch(NoSuchBeanDefinitionException ex){
- throw new DaoException("There is not the dataSource
- }
- }
值得一提的是，我需要的数据源已经都在spring的配置文件中注册，dataSourceName就是其对应的id。
- <bean id="dataSource1"
- class="org.apache.commons.dbcp.BasicDataSource">
- <property name="driverClassName">
- <value>oracle.jdbc.driver.OracleDrivervalue>
- property>
- ......
- bean>
- <bean id="dataSource2"
- class="org.apache.commons.dbcp.BasicDataSource">
- <property name="driverClassName">
- <value>oracle.jdbc.driver.OracleDrivervalue>
- property>
- ......
- bean>
为了得到spring的ApplicationContext，MultiDataSource类必须实现接口org.springframework.context.ApplicationContextAware，并且实现方法：
- private ApplicationContext applicationContext = null;
- public void setApplicationContext(ApplicationContext applicationContext) throws BeansException {
- this.applicationContext = applicationContext;
- }
如此这样，我就可以通过this.applicationContext.getBean(dataSourceName)得到dataSource了。
(四) 通过线程传递dataSourceName
查看以上设计，MultiDataSource依然无法运行，因为用户在发出请求时，他需要连接什么数据库，其数据源名是放在request中的，要将request中的数据源名传给MultiDataSource，需要经过BUS和DAO，也就是说为了把数据源名传给MultiDataSource，BUS和DAO的所有方法都要增加dataSourceName的参数，这是我们不愿看到的。写一个类，通过线程的方式跳过BUS和DAO直接传递给MultiDataSource是一个不错的设计：
- public class SpObserver {
- private static ThreadLocal local = new ThreadLocal();
- public static void putSp(String sp) {
- local.set(sp);
- }
- public static String getSp() {
- return (String)local.get();
- }
- }
做一个filter，每次客户发出请求的时候就调用SpObserver.petSp(dataSourceName)，将request中的dataSourceName传递给SpObserver对象。最后修改MultiDataSource的方法getDataSource()：
- public DataSource getDataSource(){
- String sp = SpObserver.getSp();
- return getDataSource(sp);
- }
完整的MultiDataSource代码在附件中。
(五) 动态添加数据源
通过以上方案，我们解决了动态分配数据源的问题，但你可能提出疑问：方案中的数据源都是配置在spring的ApplicationContext中，如果我在程序运行过程中动态添加数据源怎么办？这确实是一个问题，而且在我们的项目中也确实遇到。spring的ApplicationContext是在项目启动的时候加载的。加载以后，我们如何动态地加载新的bean到ApplicationContext中呢？我想到如果用spring自己的方法解决这个问题就好了。所幸的是，在查看spring的源代码后，我找到了这样的代码，编写了DynamicLoadBean类，只要调用loadBean()方法，就可以将某个或某几个配置文件中的bean加载到ApplicationContext中（见附件）。不通过配置文件直接加载对象，在spring的源码中也有，感兴趣的朋友可以自己研究。
(六) 在spring中配置
在完成了所有这些设计以后，我最后再唠叨一句。我们应当在spring中做如下配置：
- <bean id="dynamicLoadBean" class="com.htxx.service.dao.DynamicLoadBean">bean>
- <bean id="dataSource" class="com.htxx.service.dao.MultiDataSource">
- <property name="dataSource">
- <ref bean="dataSource1" />
- property>
- bean>
- <bean id="sessionFactory" class="org.springframework.orm.hibernate3.LocalSessionFactoryBean">
- <property name="dataSource">
- <ref bean="dataSource" />
- property>
- ......
- bean>
其中dataSource属性实际上更准确地说应当是defaultDataSource，即spring启动时以及在客户没有指定数据源时应当指定的默认数据源。
该方案的优势
以上方案与其它方案相比，它有哪些优势呢？
首先，这个方案完全是在spring的框架下解决的，数据源依然配置在spring的配置文件中，sessionFactory依然去配置它的dataSource属性，它甚至都不知道dataSource的改变。唯一不同的是在真正的dataSource与sessionFactory之间增加了一个MultiDataSource。
其次，实现简单，易于维护。这个方案虽然我说了这么多东西，其实都是分析，真正需要我们写的代码就只有MultiDataSource、SpObserver两个类。MultiDataSource类真正要写的只有getDataSource()和getDataSource(sp)两个方法，而SpObserver类更简单了。实现越简单，出错的可能就越小，维护性就越高。
最后，这个方案可以使单数据源与多数据源兼容。这个方案完全不影响BUS和DAO的编写。如果我们的项目在开始之初是单数据源的情况下开发，随着项目的进行，需要变更为多数据源，则只需要修改spring配置，并少量修改MVC层以便在请求中写入需要的数据源名，变更就完成了。如果我们的项目希望改回单数据源，则只需要简单修改配置文件。这样，为我们的项目将增加更多的弹性。
- 16:08
- 浏览 (16426)
- 评论 (56)
- 分类: spring&hibernate
- 进入论坛
- 相关推荐
评论
很抱歉今天才看见这条回复，实际上hamlet的方案也不错，但使用配置文件来解决这个问题似乎效率更高些，毕竟可以避免应用服务器因为获取数据库连接信息而访问数据库服务器的操作。
如何使用配置文件解决这个问题呢？在每增加一个数据库的时候，将该数据库的连接信息放到一个新创建的ApplicationContext-datasource-XXX.xml文件中。也就是说动态创建一个spring的配置文件，该文件中就只有一个datasource的bean，然后动态添加到spring中就可以了。如何动态添加，在该文最后的部分提到了，但遗憾的是我提供的这个功能的代码有一点儿问题。如果你需要，我可以帮助你解决这个问题。MSN:fan_gang2004@hotmail.com，我不用QQ。
用户登录后，程序就可以动态的取出该用户资源对应的数据库连接信息，进行连接。
如果你希望了解更详细的信息，我会随后在博客中讨论这个问题。谢谢
还有就是，如果在一个request周期都要确定一次数据源的话，这样频繁的更换数据源，呵呵。。。
再者，用户很可能同时打开多个数据源，这时，该怎么办啊？
我所说的“动态”是指用户在提交数据的时候到底连接的是哪个数据源并没有写死，而是根据用户的需求，在运行期才确定连接什么数据，因此我称之为“动态”应当没有什么问题。至于为什么要这样切换，如果ljl朋友在自己的项目中有出现了这样的需求，你就可以理解为什么要这样做了。
你还问到用户很可能同时打开多个数据源的问题，如果是在不同的线程中打开的，用我的方案没有问题。如果是在同一个线程中打开，你需要稍微修改一下我的方案，关键是如何告诉MultiDataSource什么时候连接哪个数据源，就可以解决了。
还有就是，如果在一个request周期都要确定一次数据源的话，这样频繁的更换数据源，呵呵。。。
再者，用户很可能同时打开多个数据源，这时，该怎么办啊？
openSessionInViewFilter时就经确定了使用的数据源，而且以后的数据库操作都会保证使用同一数据连接，所以LZ的这种方法似乎对osiv模式没多大意义
谢谢“二十一”朋友的提醒，但我研究了一下openSessionInViewFilter，它使用我的方案是没有问题的。打开源码可以发现，openSessionInViewFilter通过request获得sessionFactory，在我们的配置中，sessionFactory.dataSource对应的是MultiDataSource，而MultiDataSource通过request得到真正的数据源。既然openSessionInViewFilter和MultiDataSource是在同一个request中获取信息，那么我的方案是不会有什么问题的。
这里着实有些不太好理解，过去我的的dataSource对应的都是一个确定的数据源，而MultiDataSource却不是一个确定的数据源，但当作一个dataSource使用，这就是我提到的对客户透明。
MultiDataSource对应的是多数据源，但对于客户程序来说就仿佛是单数据源来使用。
openSessionInViewFilter时就经确定了使用的数据源，而且以后的数据库操作都会保证使用同一数据连接，所以LZ的这种方法似乎对osiv模式没多大意义
用您的方法后，我现在已经能实现了多数据库查询，而且也保证了事务，一切都很正常，但是有一点现在让我很着急，而且让我束手无策．因为我们在对数据库的操作时也用到了JdbcTemplate，目前在您的文章介绍中去只用了HibernateTemplate对数据库进行操作，我昨天试着把MultidataSource注入到jdbcTemplate里面，并把jdbcTemplate注入到我使用的dao里面，此时我在使用他的时候就出现了问题，它抛出这个异常：java.lang.NoSuchFieldError: EMPTY_ITERATOR，我到api上查了一下，他解释的大意思是我在试图改变一个对象时引发了此异常．请fanggang同志给以点化，当思感恩不尽！我的Msn是：xirilianren2844@hotmail.com.
非常抱歉一直在出差中，今天才看到你的信息，是的，我的方案能带给你帮助我感到非常高兴。关于你的问题，我初步判断是你在进行数据源切换的时候，目的数据库的表中没有你所操作的字段，不知是不是这个原因，你查一查。我的MSN是：fan_gang2004@hotmail.com，不过我在出差中，近期可能不会在线上。
用您的方法后，我现在已经能实现了多数据库查询，而且也保证了事务，一切都很正常，但是有一点现在让我很着急，而且让我束手无策．因为我们在对数据库的操作时也用到了JdbcTemplate，目前在您的文章介绍中去只用了HibernateTemplate对数据库进行操作，我昨天试着把MultidataSource注入到jdbcTemplate里面，并把jdbcTemplate注入到我使用的dao里面，此时我在使用他的时候就出现了问题，它抛出这个异常：java.lang.NoSuchFieldError: EMPTY_ITERATOR，我到api上查了一下，他解释的大意思是我在试图改变一个对象时引发了此异常．请fanggang同志给以点化，当思感恩不尽！我的Msn是：xirilianren2844@hotmail.com.
非常抱歉一直在出差中，今天才看到你的信息，是的，我的方案能带给你帮助我感到非常高兴。关于你的问题，我初步判断是你在进行数据源切换的时候，目的数据库的表中没有你所操作的字段，不知是不是这个原因，你查一查。我的MSN是：fan_gang2004@hotmail.com，不过我在出差中，近期可能不会在线上。
用您的方法后，我现在已经能实现了多数据库查询，而且也保证了事务，一切都很正常，但是有一点现在让我很着急，而且让我束手无策．因为我们在对数据库的操作时也用到了JdbcTemplate，目前在您的文章介绍中去只用了HibernateTemplate对数据库进行操作，我昨天试着把MultidataSource注入到jdbcTemplate里面，并把jdbcTemplate注入到我使用的dao里面，此时我在使用他的时候就出现了问题，它抛出这个异常：java.lang.NoSuchFieldError: EMPTY_ITERATOR，我到api上查了一下，他解释的大意思是我在试图改变一个对象时引发了此异常．请fanggang同志给以点化，当思感恩不尽！我的Msn是：xirilianren2844@hotmail.com.
当一个请求进来时候，我写了一个Filter会根据request请求信息设置当前的sessionFactory
然后就是重写,需要重写spring关于Hibernate3支持的四个类
HibernateAccessor,HibernateDaoSupport,HibernateTemplate,HibernateTransactionManager
其实主要是修改HibernateAccessor和HibernateTransactionManager的sessionFactory获取方式,由于HibernateDaoSupport->HibernateTemplate->HibernateAccessor,所以重写HibernateAccessor就要重写HibernateDaoSupport和HibernateTemplate
这种方式需要修改 spring，改很多的 spring 类。有一种类似，但是不需修改 spring：
spring 多数据源解决方案
多数据源问题可以打个比喻：假设有个工厂原来可以生产汽车，现在也想这个工厂可以生产火车。
在这个时候，有两个解决办法：
第一种是改造这个工厂的生产设备，使得一个工厂就可以同时生产汽车和火车。
第二种是新建一个工厂，这个工厂专门生产火车。原来的工厂保持不变。
LZ 和 atianchen 用的是第一种方法。还是用一个 BeanFactory ，然后里面声明多个的 DataSource 。用这种方法就需要修改 spring 相关的类。
spring 多数据源解决方案
这里用的就是第二种方法，直接使用多个 BeanFactory ，每个 BeanFactory 使用的 DataSource 不同。使用这种方法，不需修改 spring 的类，而是需要修改上层调用 BeanFactory 的地方。
两种方法的差异在于：
第一种方法使用隐式的参数传递（ThreadLocal，或者SessionContext），希望对上层调用者隐藏多数据源的事实；把多数据源的功能封装在了 BeanFactory 内部。
第二种方法是直接曝露接口给上层调用者，由调用者决定怎么使用。
如果从灵活性角度来说，第二种会更好。因为调用者可以直接通过 Registry.getBeanFacrtory(xxx).getBean(yyy) 来获得相应的 bean 。对于上面有人提到一次请求中需要用到两个 DataSource 的问题，也可以解决。
由于有 servlet 的 filter 机制，或者 webwork 的 interceptor 机制，所以修改上层调用 BeanFactory 的地方也能够得到很大的简化，并不复杂。
- 浏览: 87122 次
- 性别:
- 详细资料
搜索本博客
我的相册
共 4 张
最近加入圈子
最新评论
-
再析在spring框架中解决多 ...
楼主这个用来动态切换数据库是可以的，如果是这样一个场景那：用户登录后，会显示一个 ...
-- by javachs -
一个dwr+spring+hibernate ...
正在整理dwr的东西,有时间与lz交流
-- by lengyue -
再析在spring框架中解决多 ...
楼主你的这个解决方案可以说是动态的切换数据源而已！
-- by jayxu -
一个dwr+spring+hibernate ...
shim 写道员工页面老提示'sex'为空或不是对象的，但数据库表sex字段是有 ...
-- by fangang -
一个dwr+spring+hibernate ...
fangang 写道shim 写道谢谢分享，学习一下 不过我添加了２１个部门都还 ...
-- by shim
评论排行榜