Go语言视频零基础入门到精通

javalearner

在此笔记里，我们将看到我们如何可以使用像Statement和PreparedStatement JDBC API来批量在任何数据库中插入数据。此外，我们将努力探索一些场景，如在内存不足时正常运行，以及如何优化批量操作。

首先，使用java JDBC基本的API批量插入数据到数据库中。

Simple Batch - 简单批处理
     我把它叫做简单批处理。要求很简单，执行批量插入列表，而不是为每个INSERT语句每次提交数据库，我们将使用JDBC批处理操作和优化性能。  想想一下下面的代码：

1. [b]Bad Code[/b]
   
2. String [] queries = {
   
3.     "insert into employee (name, city, phone) values ("A", "X", "123")",
   
4.     "insert into employee (name, city, phone) values ("B", "Y", "234")",
   
5.     "insert into employee (name, city, phone) values ("C", "Z", "345")",
   
6. };
   
7. Connection connection = new getConnection();
   
8. Statement statemenet = connection.createStatement();
   
9. for (String query : queries) {
   
10.     statemenet.execute(query);
    
11. }
    
12. statemenet.close();
    
13. connection.close();

复制代码

这是糟糕的代码。它单独执行每个查询，每个INSERT语句的都提交一次数据库。考虑一下，如果你要插入1000条记录呢？这是不是一个好主意。 下面是执行批量插入的基本代码。来看看： Good Code

1. Connection connection = new getConnection();
   
2. Statement statemenet = connection.createStatement();
   
3. for (String query : queries) {
   
4.     statemenet.addBatch(query);
   
5. }
   
6. statemenet.executeBatch();
   
7. statemenet.close();
   
8. connection.close();

复制代码

请注意我们如何使用addBatch（）方法，而不是直接执行查询。然后，加入所有的查询，我们使用statement.executeBatch（）方法一次执行他们。没有什么花哨，只是一个简单的批量插入。 请注意，我们已经从一个String数组构建了查询。现在，你可能会想，使其动态化。例如：

1. import java.sql.Connection;
   
2. import java.sql.Statement;
   
3. //...
   
4. Connection connection = new getConnection();
   
5. Statement statemenet = connection.createStatement();
   
6. for (Employee employee: employees) {
   
7.     String query = "insert into employee (name, city) values(""
   
8.             + employee.getName() + "","" + employee.getCity + "")";
   
9.     statemenet.addBatch(query);
   
10. }
    
11. statemenet.executeBatch();
    
12. statemenet.close();
    
13. connection.close();

复制代码

请注意我们是如何从Employee对象中的数据动态创建查询并在批处理中添加，插入一气呵成。完美！是不是？  等等......你必须思考什么关于SQL注入？这样动态创建的查询SQL注入是很容易的。并且每个插入查询每次都被编译。  为什么不使用PreparedStatement而不是简单的声明。是的，这是个解决方案。下面是SQL注入安全批处理。 SQL Injection Safe Batch - SQL注入安全批处理
思考一下下面代码:

1. import java.sql.Connection;
   
2. import java.sql.PreparedStatement;
   
3. //...
   
4. String sql = "insert into employee (name, city, phone) values (?, ?, ?)";
   
5. Connection connection = new getConnection();
   
6. PreparedStatement ps = connection.prepareStatement(sql);
   
7. for (Employee employee: employees) {
   
8.     ps.setString(1, employee.getName());
   
9.     ps.setString(2, employee.getCity());
   
10.     ps.setString(3, employee.getPhone());
    
11.     ps.addBatch();
    
12. }
    
13. ps.executeBatch();
    
14. ps.close();
    
15. connection.close();
    

复制代码

看看上面的代码。漂亮。我们使用的java.sql.PreparedStatement和在批处理中添加INSERT查询。这是你必须实现批量插入逻辑的解决方案，而不是上述Statement那个。

这一解决方案仍然存在一个问题。考虑这样一个场景，在您想要插入到数据库使用批处理上万条记录。嗯，可能产生的OutOfMemoryError：
java.lang.OutOfMemoryError: Java heap space
com.mysql.jdbc.ServerPreparedStatement$BatchedBindValues.<init>(ServerPreparedStatement.java:72)
com.mysql.jdbc.ServerPreparedStatement.addBatch(ServerPreparedStatement.java:330)
org.apache.commons.dbcp.DelegatingPreparedStatement.addBatch(DelegatingPreparedStatement.java:171) 这是因为你试图在一个批次添加所有语句，并一次插入。最好的办法是将执行分批次。看看下面的解决方案

Smart Insert: Batch within Batch - 智能插入：将整批分批
这是一个简单的解决方案。考虑批量大小为1000，每1000个查询语句为一批插入提交。

1. String sql = "insert into employee (name, city, phone) values (?, ?, ?)";
   
2. Connection connection = new getConnection();
   
3. PreparedStatement ps = connection.prepareStatement(sql);
   
4. final int batchSize = 1000;
   
5. int count = 0;
   
6. for (Employee employee: employees) {
   
7.     ps.setString(1, employee.getName());
   
8.     ps.setString(2, employee.getCity());
   
9.     ps.setString(3, employee.getPhone());
   
10.     ps.addBatch();
    
11.     if(++count % batchSize == 0) {
    
12.         ps.executeBatch();
    
13.     }
    
14. }
    
15. ps.executeBatch(); // insert remaining records
    
16. ps.close();
    
17. connection.close();

复制代码

这才是理想的解决方案，它避免了SQL注入和内存不足的问题。看看我们如何递增计数器计数，一旦BATCHSIZE 达到 1000，我们调用executeBatch（）提交。