關于Spring batch的學習之CSV2DB

最近在學習Spring batch相關的內容，網上也有不少Spring Batch相關的知識，不過大多都是使用xml進行配置的。這里是我用注解的方式進行相關的學習心得。

首先我們來看如何將一個文本文件中的內容導入到數據庫中。

我們先來看一下我們所需要的環境。我們這里使用的是STS（Spring Tool Suite）當然也可以使用Eclipse(需要有maven插件)或者Myeclipse。我們使用的數據庫是MySQl，當然也可以使用其他的數據庫，根據自己的需要。

現在開始我們的文件到數據庫的學習。

第一步，我們需要創建一個maven的project。然后在我們的項目下會有三個包，這里我們只需要其中的兩個，就是main下的兩個（java和resources包）。

第二步，我們來配置一下我們的pom文件。

　　一、org.springframework.boot

　　　　1、spring-boot-starter-batch

　　　　2、spring-boot-starter-jdbc

　　　　3、spring-boot-starter-jetty

　　二、mysql的jdbc驅動包

配置完這些，我們的軟件就會自動下載這些包以及相關的依賴包，這需要一點時間。

第三步，我們需要來配置我們的數據庫連接的相關信息。

　　我們需要在resources包下新建一個properties文件，如下。

spring.datasource.driverClassName=com.mysql.jdbc.Driver
spring.datasource.url=jdbc:mysql://127.0.0.1:3306/test
spring.datasource.username=root
spring.datasource.password=

第四步:由于幾天我們學習的是將文件內容讀到數據庫中，所以，接下來我們需要準備一個文件，這個文件需要時flat類型的，例如txt或者csv等。

zhangsan,anhui,1991/02/15,M
lisi,shanghai,1992/01/09,F
wangwu,wuhan,1990/01/22,M
zhaoliu,tianjin,1991/11/11,F
zhangkun,huashan,1989/09/20,M

第五步,我們需要創建一個entity對象類，如下：

public class User {
    private String userId;
    private String userName;
    private String address;
    private Date birth;
    private String gender;
    
    public String getUserId() {
        return userId;
    }

    public void setUserId(String userId) {
        this.userId = userId;
    }

    public Date getBirth() {
        return birth;
    }

    public void setBirth(Date birth) {
        this.birth = birth;
    }

    public String getGender() {
        return gender;
    }

    public void setGender(String gender) {
        this.gender = gender;
    }

    public String getUserName() {
        return userName;
    }

    public void setUserName(String userName) {
        this.userName = userName;
    }

    public String getAddress() {
        return address;
    }

    public void setAddress(String address) {
        this.address = address;
    }
    
    public User() {

    }

    public User(String userId, String userName, String address ,String gender, Date birth) {
        this.userId = userId;
        this.userName = userName;
        this.address = address;
        this.gender = gender;
        this.birth = birth;
    }

    @Override
    public String toString() {
        return "userId"+ userId +", userName: " + userName + ", address: " + address + ",gender: " + gender + ", birthDay: "+birth;
    }

}

?

第六步，batch是一個用來執行job的框架。所以我們需要來創建一個job，在job里需要配置我們的step，每一個step的完成需要有三個動作，讀文件，處理信息，寫數據庫。代碼如下：

@Configuration
@EnableBatchProcessing
public class Configuration {
    @Bean
    public ItemReader<User> reader() {
        FlatFileItemReader<User> reader = new FlatFileItemReader<User>();
        reader.setResource(new ClassPathResource("test.csv"));
        reader.setLineMapper(new DefaultLineMapper<User>() {{
            setLineTokenizer(new DelimitedLineTokenizer() {{
                setNames(new String[] { "userName", "address", "birth", "gender" });
            }});
            setFieldSetMapper(new BeanWrapperFieldSetMapper<User>() {{
                setTargetType(User.class);
            }});
        }});
        return reader;
    }

    @Bean
    public ItemProcessor<User, User> processor() {
        return new UserItemProcessor();
    }

    @Bean
    public ItemWriter<User> writer(DataSource dataSource) {
        JdbcBatchItemWriter<User> writer = new JdbcBatchItemWriter<User>();
        writer.setItemSqlParameterSourceProvider(new BeanPropertyItemSqlParameterSourceProvider<User>());
        writer.setSql("INSERT INTO User (user_name, address,birth,gender) VALUES (:userName, :address, :birth,:gender)");
        writer.setDataSource(dataSource);
        return writer;
    }

    @Bean
    public Job CSV2DBJob(JobBuilderFactory jobs, Step s1) {
        return jobs.get("CSV2DBJob")
                .incrementer(new RunIdIncrementer())
                .flow(s1)
                .end()
                .build();
    }

    @Bean
    public Step step1(StepBuilderFactory stepBuilderFactory, ItemReader<User> reader,
            ItemWriter<User> writer, ItemProcessor<User, User> processor) {
        return stepBuilderFactory.get("step1")
                .<User, User> chunk(10)
                .reader(reader)
                .processor(processor)
                .writer(writer)
                .build();
    }

    @Bean
    public JdbcTemplate jdbcTemplate(DataSource dataSource) {
        return new JdbcTemplate(dataSource);
    }

}

step中的process需要我們自己來根據自己的實際進行相關的處理，如下

public class UserItemProcessor implements ItemProcessor<User, User> {

    @Override
    public User process(final User user) throws Exception {
        final String userId = "2014010"+ user.getUserId();
        final String gender = user.getGender().equals("M")?"male":"female";
        final Date birth = user.getBirth();
        final String userName = user.getUserName().substring(0,1).toUpperCase()+user.getUserName().substring(1).toLowerCase();
        final String address = user.getAddress().substring(0,1).toUpperCase()+user.getAddress().substring(1).toLowerCase();
        
        final User transformedUser = new User(userId,userName, address,gender,birth);


        return transformedUser;
    }

一切都好了，我們還需要寫一個application類來啟動我們的job，具體如下：

@ComponentScan
@EnableAutoConfiguration
public class Application {

    public static void main(String[] args) {
        ApplicationContext ctx = SpringApplication.run(Application.class, args);
    }

}

最后，還需要提醒的是，由于我們的batch中的entity沒有配置自動建表，所以我們需要自己提前在數據庫中創建一個User表或者在我們的resources包下面建一個schema-all.sql文件，在這里寫入我們的建表語句就可以了，schema-all是可以直接被Spring batch框架識別的。

DROP TABLE  IF EXISTS user;

CREATE TABLE user  (
    user_id BIGINT AUTO_INCREMENT NOT NULL PRIMARY KEY,
    user_name VARCHAR(20),
    address VARCHAR(20),
    birth Date,
    gender varchar(1)
);

好了一切到此就結束了，現在啟動我們的工程就可以將我們的文件內容導入到我們的數據庫中了。