C#在MySQL大量数据下的高效读取、写入详解

就是把values后面的全部用逗号，链接起来，然后一次性执行 。

当然不能一次性提交个100MB的SQL执行，MySQL服务器对每次执行命令的长度是有限制的。 通过 MySQL服务器端的 max_allowed_packet   属性可以查看， 默认是 1MB

咱们来看看伪代码吧

 //使用StringBuilder高效拼接字符串
 var sqlBuilder = new StringBuilder();
 //添加insert 语句的头
 string sqlHeader = "insert into table1 (`f1`,`f2`) values";
 sqlBuilder.Append(sqlHeader);
 using (var conn = new MySqlConnection("Connection String..."))
 {
  conn.Open();
  //此处设置读取的超时，不然在海量数据时很容易超时
  var c = new MySqlCommand("set net_write_timeout=9999999; set net_read_timeout=9999999", conn);
  c.ExecuteNonQuery();

  MySqlCommand rcmd = new MySqlCommand();
  rcmd.Connection = conn;
  rcmd.CommandText = @"SELECT `f1`,`f2` FROM `table1`";
  //设置命令的执行超时
  rcmd.CommandTimeout = 99999999;
  var myData = rcmd.ExecuteReader();
  while (myData.Read())
  {
   var f1 = myData.GetInt32(0);
   var f2 = myData.GetString(1);
   //这里做数据处理....
   sqlBuilder.AppendFormat("({0},'{1}'),", f1,AddSlash(f2));
   if (sqlBuilder.Length >= 1024 * 1024 * 1024)//当然这里的1MB length的字符串并不等于 1MB的Packet。。。我知道：）
   {
    insertCmd.Execute(sqlBuilder.Remove(sqlBuilder.Length-1,1).ToString())//移除逗号，然后执行
    sqlBuilder.Clear();//清空
    sqlBuilder.Append(sqlHeader);//在加上insert 头
   }
  }
}