《海量数据处理分析》的相关内容

目前，分布式的概念越来越流行，但是在数据库领域里，分布式的应用相对较少。在参阅了Google的Map/Reduce概念后，我构思了一种分布式数据库的架构，并实现了其雏形，现在将其基本思路写出来，希望能起到抛砖引玉的作用。我工作时间不长，其中错误，不完善之处还请大家多多指出，谢谢。     设计这个分布式数据库的目的在于快速的处理海量数据。基本思路其实很简单，将数据分 ...

公司接到一个ERP系统改造的项目，数据库采用原有的AS400上的DB2 5.4。数据量巨大，大约有30年的历史了，而且表之间没有关联关系。由于本人技术能力有限，所以在技术选型时感到很迷茫。迷茫的原因是一方面要考虑到系统性能问题，另一方面还要考虑开发的难易程度和系统健壮性，等等一系列问题。 我将目前比较流行的技术方案分别做了一个demo，并且以查询10万条数据为标准做性能测试。结果如下： 方案名称 ...

我现在遇到了一个海量数据分页的问题，数据更新的速度也是非常快的，我能想到的一是使用历史表，超过一定时间的就放到历史表中，不过这样如果要查当前表和历史表的都有的数据可能处理起来就会比较麻烦；二是使用缓存来缓存部分数据，可是由于数据的更新频率很快，用户又需要及时地看到这些数据，所以每次更新数据就刷新缓存的代价太大了，这种方式基本上就不可取；三是在网上看到了说是使用存储过程来处理，没有用过，不知道能否解 ...

多维数据模型与OLAP实现 2007-05-18 13:41 一、多维数据模型及相关概念 数据模型一般有两个层次：概念层（逻辑层）和物理层。逻辑数据模型是从概念角度抽象出现实世界的内在规律，如业务流程、数据架构等；物理数据模型则侧重于特定环境下的具体实现 ...

1.数据挖掘技术的由来 1.1网络之后的下一个技术热点 我们现生活在一个网络化的时代，通信、计算机和网络技术正改变着整个人类和社会。如果用芯片集成度来衡量微电子技术，用CPU处理速度来衡量计算机 技术，用信道传输速率来衡量通信技术，那么摩尔定律告诉我们，它们都是以每18个月翻一番的速度在增长，这一势头已经维持了十多年。在美国，广播达到 5000万户用了38年；电视用了13年；Internet拨 ...

我是一名软件开发人员，目前的主要经验是商业信息管理系统的架构设计和开发。最早了解到的BI实例，是2000年和惠普(HP)某家经销商经理的一次聊天中。当时，该经理极力向我推荐HP美国总部销售管理系统的一个功能，当然，中国本土的经销商也可以通过网络来使用该系统。该系统要求经销商在每销售一台HP的打印机后，必须把客户的信息、联系方式及购机日期录入到系统中去。当然，一开始的劳动是有回报的。一段时间后，销售 ...

全文检索逸事 　　10G、20G、40G、80G……，近年，企业网络系统内，服务器的硬盘在以N次方的速度频繁升级，而职员却永远在抱怨机器如同老牛拖货车，“慢”得令人无法忍受。 　　有关调查结果显示，当前，对“基于内容搜索的文件系统”成为用户的迫切要求。在几乎所有企业所构建的网络系统中，“全文检索&r ...

现在我们 Xerdoc 团队在做的事情，已经牵涉到 BI 的概念，BI 这个词的词频也在团队内呈现上升态势。BI这个词是我带进来的，但从一开始，我就一直没有机会向诸位队友系统讲述过什么叫 BI；索性现在在这里科普一下，把我四年积累的知识给诸位来一个速成，让我们共同开阔视野，活跃思维。   &nbs ...

这篇文章中，我们介绍了google，它是一个大型的搜索引擎（of a large-scale search engine）的原型，搜索引擎在超文 本中应用广泛。Google的设计能够高效地抓网页并建立索引，它的查询结果比其它现有系统都高明。这个原型的全文和超连接的数据库至少包含24‘000 ‘000个网页。我们可以从 http://google.stanford.edu/ 下载。 设 计搜索引擎 ...

Google背后的分布式计算架构策略 Google是与众不同的。它的独特不仅仅表现于革新的思维和充满创意的应用 (比如那个大堂里的地球模型)，更在于其有别常规的IT策略…… 　　加利福尼亚州山景城(Mountain View)Google公司(Google，下称Google)总部有一个43号大楼，该建筑的中央大屏幕上显示着一个与Google地球(Google Earth)相仿的世界地图，一个转动 ...

本人无能，1T数据下lucene的索引程序就做了8天。。还在继续。 无奈只好请教各位，有谁在1T数据下做过lucene索引程序，8天正常吗？ 有点语无伦次了，说一下具体情况吧 ------------------------------------------------------------------------------ 服务器 win2003 cpu 8个，内存 8g 硬盘 ...

最近工作用到数据仓库和数据挖掘方面的知识，但是在目前应用当中，还是数据建模和数据处理用的比较多，尤其是SQL语句的编写和存储过程编写，一些大数据量获取需要高性能和安全的SQL语句，因为大数据处理会影响生产库的安全和稳定。     我在网上搜索了下数据挖掘和数据仓库方面的知识，他们都有工具做辅助处理，比如OWB这个是数据转换处理工具，目前我完全靠人处理，数据来源各种各样 ...

在对索引搜索的时候，一般不建议对索引进行和数据库同步更新，但是现在我想研究一下如果做同步更新，我也想了很久，也找不到方案，请知道的人给点建议！谢谢！