C# · 12月 30, 2021

C#将大量数据从CSV导入数据库

将大量数据从CSV(300万行)加载到数据库是最有效的方法.

>数据需要格式化(例如,名称列需要分成名字和姓氏等)
>我需要尽可能有效地做到这一点,即时间限制

我可以选择使用C#应用程序逐行阅读,转换和加载数据?这是理想的,如果没有,我的选择是什么?我应该使用多线程吗?

解决方法 您将被I / O绑定,因此多线程不一定会使其运行更快.

上次我这样做,大概是十几行C#.在一个线程中,它运行的硬盘尽可能快地从盘中读取数据.我从源文件一次读取一行.

如果您不热衷于自己编写,您可以尝试使用FileHelpers库.您可能还想看看Sébastien Lorion’s work.他的CSV读取器专门用于处理性能问题.