浏览 151 次
|
该帖已经被评为隐藏帖
|
|
|---|---|
| 作者 | 正文 |
|
时间:2007-12-18 关键字: 1.2G数据写入数据库
一个txt文件1.2G 现在我们要做的就是把txt文本的数据
全放到数据里面去. txt是很规范的 我可以看成用mssql的导出到txt文本中 现在又要把这些数据导入到 数据中去.此时我们要用自己的程序完成 下面是我的思路 单纯算法相对于这个我一定不行.只能想别的方法. 1.一行一行的读 很两百哐更多条提交一次.光记取文件就要很时间了 <速度太慢> 2.多线程对文本.读取但还是通不过. 每两百条提交一次.. <多线程对文本可能会有出数据库丢失> 3.通过 BULK INSERT 这个行不通 <因为BULK INSERT需要bcp进行数据处理的才可以使用这个方法> 4.直接调用sql server 20000 的导入导出com组件 相对不灵活.转到Oracle Mysql可能就行不通了 <不过现阶段我只能用些方法实现> 读取日志如下 大容量复制已成功完成。 源: C:\exported.txt 目标: [dbo].[myTestUniNativeData] 已复制的行数: 108035 大容量复制持续时间: 0 分钟 12.204 秒 这样看来对于接近亿条的数据还是很慢的. 不知道大家还有别的方法不 声明:JavaEye文章版权属于作者,受法律保护。没有作者书面许可不得转载。
|
|
| 返回顶楼 | |


