Spring Batch

• Github

심플 배치 작성기

• 배치용 디비 설치

• 배치 데이터 분석하기

• 배치 프로세스 구상하기 및 성능 차이 확인하기

스터디 진행 방식

1. 스프링 배치 기본 개념 학습

2. 전체적 배치 프로세스를 이해하기 위한 도메인 선택 및 세 가지 이상 기능이 추가된 프로세스 설계

3. 프로세스 기능에 필요한 Reader, Processor, Writer 또는 Tasklet으로 구현

   • FlatFileReader, JdbcCursorItemReader, JpaPagingItemReader

   • ItemProcessor

   • JpaItemWriter, CompositeItemWriter, ExcelItemWriter

   • MySQL, H2, Oracle

4. 프로세스 구현 시 중복되는 기능 및 프로세스 개선(필요시 Redis 등등 추가)

5. 스케줄러에 대한 종류 찾아보기(Jenkins, Airflow, custom 등등)

SpringBatch Schema ERD

erd

• batch-schema

추가적 진행

• txt 파일 reader 기능 추가 (csv, txt, excel)

• excel Report 모듈 참고 구현

• 배치 프로세스상에서 Step 간의 데이터 공유하는 방법 개선(외부 모듈 사용 X)

• 속도를 줄이기 위해 Parallel Step or MultiThread로 구현해보기

• JPA Querydsl를 활용하여 조인쿼리로 수정하기

• JPA, Jdbc 속도 비교 (속도를 어느정도 포기하고 코드양을 줄일 것인지..?)

• 엘라스틱 서치 스택을 추가하여 배치와 연동