• 设为首页
  • 点击收藏
  • 手机版
    手机扫一扫访问
    迪恩网络手机版
  • 关注官方公众号
    微信扫一扫关注
    公众号

sql中的Bulk和C#中的SqlBulkCopy批量插入数据(回顾and粗谈)

原作者: [db:作者] 来自: [db:来源] 收藏 邀请

       通常,我们会对于一个文本文件数据导入到数据库中,不多说,上代码。

       首先,表结构如下.

   

   其次,在我当前D盘中有个文本文件名为2.txt的文件。

  

  在数据库中,可以这样通过一句代码插入。

     

Bulk  insert  T_Demo

      From  'D:\2.txt'

      With

      (   fieldterminator=',',

          rowterminator='\n'

      )

  1) bulk insert:  为Sql server 中一个批量插入的操作

      2)T_Demo:   要插入的表

      3)'D:\2.txt':   数据源文件所在磁盘上的物理路径

      4)with 相当于一些插入的附属条件,可以起这里添加一些约束限制条件等

      5) fieldterminator=’,’字段的分割符为”,”一般的txt文本数据源的字段分隔都为逗号,当然也可以为其他,比如”|”

      6)rowterminator=’\n’各条信息间的分割符为’\n’,一般的txt文本数据源的信息间的分割都是换行符,即一条信息占一行,也可以用其他格式如:”|\n”

 在微软官方给的详细如下:

  

BULK INSERT  
   [ database_name . [ schema_name ] . | schema_name . ] [ table_name | view_name ]  
      FROM 'data_file'  
     [ WITH  
    (  
   [ [ , ] BATCHSIZE = batch_size ]  
   [ [ , ] CHECK_CONSTRAINTS ]  
   [ [ , ] CODEPAGE = { 'ACP' | 'OEM' | 'RAW' | 'code_page' } ]  
   [ [ , ] DATAFILETYPE =  
      { 'char' | 'native'| 'widechar' | 'widenative' } ]  
   [ [ , ] FIELDTERMINATOR = 'field_terminator' ]  
   [ [ , ] FIRSTROW = first_row ]  
   [ [ , ] FIRE_TRIGGERS ]  
   [ [ , ] FORMATFILE = 'format_file_path' ]  
   [ [ , ] KEEPIDENTITY ]  
   [ [ , ] KEEPNULLS ]  
   [ [ , ] KILOBYTES_PER_BATCH = kilobytes_per_batch ]  
   [ [ , ] LASTROW = last_row ]  
   [ [ , ] MAXERRORS = max_errors ]  
   [ [ , ] ORDER ( { column [ ASC | DESC ] } [ ,...n ] ) ]  
   [ [ , ] ROWS_PER_BATCH = rows_per_batch ]  
   [ [ , ] ROWTERMINATOR = 'row_terminator' ]  
   [ [ , ] TABLOCK ]  
   [ [ , ] ERRORFILE = 'file_name' ]  
    )]  

这里我们主要看with中的一些参数:(部分)

1)       BATCHSIZE : 指定批处理中的行数

2)       CHECK_CONSTRAINTS:启用约束检查,指定在大容量导入操作期间,必须检查所有对目标表或视图的约束。若没有 CHECK_CONSTRAINTS 选项,则忽略所有 CHECK 和 FOREIGN KEY 约束,并在该操作后将表的约束标记为不可信。始终强制使用 UNIQUE、PRIMARY KEY 和 NOT NULL 约束。

3)       FIRE_TRIGGERS

指定将在大容量导入操作期间执行目标表中定义的所有插入触发器。如果为针对目标表的 INSERT 操作定义了触发器,则每次完成批处理操作时均激发触发器。

4)       KEEPNULLS

指定空列在大容量导入操作期间应保留 Null 值,而不插入列的任何默认值

5)       ORDER ( { column [ ASC | DESC ] } [ ,...n ] )

指定如何对数据文件中的数据排序。如果根据表中的聚集索引(如果有)对要导入的数据排序,则可提高大容量导入的性能

6)       ERRORFILE ='file_name'

指定用于收集格式有误且不能转换为 OLE DB 行集的行的文件。这些行将按原样从数据文件复制到此错误文件中。

 

--------------------------------------------------------------SqlBulkCopy分割线---------------------------------------------------------------------

 

  在C#中,我们可以使用sqlBulkCopy去批量插入数据,其他批量插入方法不在讨论。

  

  上代码......

  

 /// <summary>
        /// SqlBulkCopy批量插入数据
        /// </summary>
        /// <param name="connectionStr">链接字符串</param>
        /// <param name="dataTableName">表名</param>
        /// <param name="sourceDataTable">数据源</param>
        /// <param name="batchSize">一次事务插入的行数</param>
        public static void SqlBulkCopyByDataTable(string connectionStr, string dataTableName, DataTable sourceDataTable, int batchSize = 100000)
        {
            using (SqlConnection connection=new SqlConnection(connectionStr))
            {
                using (SqlBulkCopy sqlBulkCopy=new SqlBulkCopy(connectionStr,SqlBulkCopyOptions.UseInternalTransaction))
                {
                    try
                    {
                        sqlBulkCopy.DestinationTableName = dataTableName;
                        sqlBulkCopy.BatchSize = batchSize;
                        for (int i = 0; i < sourceDataTable.Columns.Count; i++)
                        {
                            sqlBulkCopy.ColumnMappings.Add(sourceDataTable.Columns[i].ColumnName,sourceDataTable.Columns[i].ColumnName);
                        }
                        sqlBulkCopy.WriteToServer(sourceDataTable); 
                    }
                    catch (Exception ex)
                    {

                        throw ex;
                    }
                }
            }
        }

      使用方式如下,这里我将插入100万条数据,

  在SqlBulkCopyByDataTable方法中每次插入10万条,

  其插入方式SqlBulkCopyOptions.UseInternalTransaction (即事务插入,可用其他方式。)

            DataTable dt = new DataTable("测试");
            dt.Columns.Add("ID",typeof(int));
            dt.Columns.Add("Name", typeof(string));
            dt.Columns.Add("Age", typeof(int));
            for (int i = 1; i <= 1000000; i++)
            {
                DataRow row = dt.NewRow();
                 row["ID"] =  i;
                 row["Name"] = "名字"+i;
                 row["Age"] = i;
                 dt.Rows.Add(row);
            }

            string connStr = System.Configuration.ConfigurationManager.ConnectionStrings["connStr"].ConnectionString;

            Stopwatch stopWatch = new Stopwatch();
            stopWatch.Start();


           SqlBulkCopyByDataTable(connStr, "T_Demo", dt); 

            Console.WriteLine(stopWatch.Elapsed);  
            Console.ReadKey();

    

    用时为如下。

    

    参考: http://blog.csdn.net/xuemoyao/article/details/8506338

    本文到此结束。  

     纯属回顾与粗谈,并没有细说。

    请各位见谅。

 


鲜花

握手

雷人

路过

鸡蛋
该文章已有0人参与评论

请发表评论

全部评论

专题导读
上一篇:
C#实现邮件群发发布时间:2022-07-14
下一篇:
C#Asp.net中简单操作MongoDB数据库(一)发布时间:2022-07-14
热门推荐
热门话题
阅读排行榜

扫描微信二维码

查看手机版网站

随时了解更新最新资讯

139-2527-9053

在线客服(服务时间 9:00~18:00)

在线QQ客服
地址:深圳市南山区西丽大学城创智工业园
电邮:jeky_zhao#qq.com
移动电话:139-2527-9053

Powered by 互联科技 X3.4© 2001-2213 极客世界.|Sitemap