大于5G 的 CSV 文件如何导入到Oracle数据库中

This topic created in 4602 days ago, the information mentioned may be changed or developed.

有一个 CSV 文件里面大概有40000000条数据，试过 Toad,Access,Excel,Number,plsqldev 都无法打开或导入,Oracle的sqlldr也试过都没用，只有 UltraEdit 可以打开浏览但无法导入到Oracel 里，求解，谢谢！

导入到

Oracle

csv

8 replies • 1970-01-01 08:00:00 +08:00

csx163

Oct 21, 2013

分割呗，这么简单

mlhorizon

Oct 21, 2013

数据干净的话，用SQL LOADER 就好了。

Muninn

Oct 22, 2013

我平时倒的文件都是几十或者几百G,从来没出过问题. 就用自带的sqlldr. 你得详细的说你出的什么问题才好解决啊. 文件大小绝对不是问题.

ge2009

Oct 22, 2013

@csx163 试过好些 csv 分割器，都有问题

10iii

Oct 22, 2013

//cut.js
var ws = WScript.CreateObject("WScript.Shell"), fso = new ActiveXObject("Scripting.FileSystemObject");
var fin = fso.OpenTextFile(".\\Very-Large.csv", 1);
var i=0,j=1;
var fout = fso.OpenTextFile(".\\part"+(i++)+".csv", 2, true);
while (!fin.AtEndOfStream) {
j++;
fout.WriteLine(fin.ReadLine());
if ((j%1000000) === 0) {
fout.Close();
fout = fso.OpenTextFile(".\\part"+(i++)+".csv", 2, true);
}
}
fin.Close();fout.Close();
ws.popup('Done');

10iii

Oct 22, 2013

提前说句，估计是你的csv中间有乱七八糟换行符啥的。

csx163

Oct 26, 2013

@ge2009 我用的是会生成一个DAV后缀文件的切割器，名字真忘了

ge2009

Oct 27, 2013

@10iii 多谢！