병렬처리를 이용한 이미지 리사이즈 개선

병렬처리를 이용한 이미지 리사이즈 개선을 통해 이미지 로딩문제를 개선한 경험을 작성해봤습니다.

---

문제 상황

1. 렌더링으로 인한 이미지 로드 지연

사용자의 원본 이미지를 그대로 S3에 업로드해서 사용해왔습니다. 그렇다보니 네트워크 / 디바이스 성능에 따라 페이지 렌더링 되면서 이미지가 늦게 로드 되는 경우가 많았습니다.

 

2. 고화질 원본 이미지로 인한 이미지 로드 지연

대부분 원본 이미지가 3MB이상인 고화질 이미지였기에 늦게 로드 되었습니다. 

 

해결안

1. 원본 이미지 경량화 (선택)

현실적으로 지금 당장 빠르게 해결할 방법은 백엔드쪽에서 원본 이미지를 경량화하는 것입니다. 단, 페이지마다 사용하는 이미지 사이즈가 다르기 때문에 4가지 유형으로 리사이즈해서 프론트에서 적절한 유형의 리사이즈 이미지를 사용하도록 합시다. (SMALL, MEDIUM, LARGE, XLARGE)

추가적으로 이미지 업로드 기능이 원본 이미지 경량화 로직으로 인해 서비스 사용성에 영향이 있으면 안됩니다.

 

2. 프론트 엔드 (선택 안함)

이미지 로드 개선은 스켈레톤 이미지나 프론트에서 자체 캐시를 사용할수도 있었지만, 지금 당장 프론트쪽에 업무를 추가할순 없었습니다.

---

구현

이미지 리사이즈 플로우

• 기존에 사용하던 이미지 업로드 API는 그대로 유지하되, 이미지가 업로드 되면 메시지큐에 리사이즈 요청 메시지를 전송합니다.
• 컨슈머는 업로드된 원본 이미지를 확인하고 4가지 유형으로 리사이즈를 수행합니다.
• 프론트에서는 규칙에 따라 리사이즈된 이미지를 사용하게 됩니다.

 

이미지 리사이즈 컨슈머 구현 로직

1. 사이즈별 이미지 업로드

• 4 가지 유형으로 리사이즈 하여 S3에 업로드 합니다.
• 각각의 리사이즈된 이미지는 HashMap에 저장하여 추후에 데이터베이스에 저장할 때 사용됩니다.

2. 리사이즈 이미지 업로드 내역 저장

• 이미지 업로드가 완료되면 S3에 저장한 이미지 경로를 사이즈별로 취합하여 한번에 데이터베이스에 저장합니다.

---

개선

병렬 처리

• 기존 방법 : 기존 로직은 사이즈 별로 루프문을 순회하면서 순차적으로 원본 이미지를 리사이즈하며 업로드했습니다
• 상황 : 사이즈 별로 업로드 하는 로직은 개별 쓰레드로 독립적으로 수행해도 됩니다
• 개선 : 사이즈 별로 업로드 하는 로직은 병렬로 수행하고 추후 데이터베이스에 저장할 데이터만 취합하여 저장하는 방법을 시도봅시다.

직접해보고 전후 결과를 비교해봤습니다.

객관적인 데이터를 측정하기 위해 이미지 업로드 로직을 2초 정도 시간을 소요하도록 로직을 수정하였습니다

 

stream 사용시 (Total 소요시간 : 8초)

Image Resize upload start!!! time : 2022-12-18T20:55:21
Image Resize upload end!!! time : 2022-12-18T20:55:29

 

parallelStream 사용시 (Total 소요시간 : 2초)

Image Resize upload start!!! time : 2022-12-18T21:31:54
Image Resize upload end!!! time : 2022-12-18T21:31:56

 

확실히 성능이 개선되었습니다. (8초->2초)

---

주의사항

병렬처리시 주의사항은?

1. 병렬 처리

병렬처리 하는 로직에서 공유 데이터를 가공하는 경우가 있으면 역효과가 납니다. 쓰레드간 작업한 데이터를 동기화해주는 작업이 생각보다 많은 부하를 발생하기 때문입니다.

 

2. parallelStream

parallelStream을 사용하게 되면 애플리케이션의 전체적인 성능을 떨어뜨릴수 있게 됩니다. 왜냐하면 자바 애플리케이션은 멀티 쓰레드로 동작하기 때문에 일정량의 쓰레드를 할당하며 사용자 요청을 병렬로 처리하기 때문입니다. 그래서 parallelStream을 사용하게 되면 애플리케이션에서 할당해 놓은 쓰레드를 임의로 끌어쓰기 때문에 실제로 사용자 요청에 대한 처리를 수행할 쓰레드가 부족할 수 있습니다.

---

주의사항 해결안

이 주의사항 문제를 해결하기 위해서 2가지 방법을 시도했습니다.

1. parallelStream 을 사용할때는 ForkJoinPool로 쓰레드풀을 지정하라! (선택)

• ForkJoinPool을 사용하여 병렬처리로 가용할 쓰레드 갯수를 제한해 줍시다.
• 현재는 이미지 리사이즈 유형만큼만 병렬처리하기 때문에 리사이즈 컬렉션 갯수만큼 쓰레드풀을 지정했습니다

 

그럼 ForkJoinPool을 어디에 선언해야 하는가?

• ForkJoinPool을 지역변수로 설정할 수도 있고 static으로 설정 할 수도 있습니다.

지역변수

아래는 지역변수로 선언한 경우입니다.

public void test() throws ExecutionException, InterruptedException {
	ForkJoinPool forkJoinPool = new ForkJoinPool(2);
	forkJoinPool.submit(() -> IntStream.rangeClosed(1, 4)
		.parallel()
		.peek(i -> {
			try {
				TimeUnit.SECONDS.sleep(1);
			} catch (InterruptedException e) {
				throw new RuntimeException(e);
			}
		}).forEach(i -> log.info("ParallelStream() -> {}", i))).get();
	forkJoinPool.shutdown();
}

• 그런데 지역변수로 설정한다는건 결국 ForkJoinPool 쓰레드가 생성되기 때문에 트래픽이 많을 경우 그 만큼 가용할 수 있는 쓰레드는 줄어들게 됩니다.
• 로컬에 생성한 ForkJoinPool은 shutdown을 수행해야 합니다!

ForkJoinPool의 종료 시점은 쓰레드 당 60초 이후에 반납됩니다
만약 new ForkJoinPool(4) 으로 생성하였다면 4초 이후에 활성화된 쓰레드가 반납됩니다

그렇기 때문에 동시에 트래픽이 몰려서 지역변수로 ForkJoinPool을 생성하게 된다면
가용할 수 있는 쓰레드가 없을수도 있습니다. 
그러므로 자동으로 반납되기 전에 shutdown()을 사용해서 쓰레드를 종료시키는게 중요합니다

참고 : https://meetup.nhncloud.com/posts/291

 

 

static 

• 우리가 쓰레드 그룹을 생성하는건, 애플리케이션에서 수행되는 쓰레드 가용성을 보장하기 위해서입니다. 그러므로 static으로 설정하는게 우리가 의도한 목적과 일치할 수 있습니다.
• 그러나 static으로 설정할 때 중요한건 size 설정입니다. 특정 쓰레드만 수행되기 때문에 size를 너무 적게 설정하면 해당 기능의 수행시간이 딜레이 될 수 있습니다

// size는 트래픽을 고려하여 신중히 결정할것!!
private static ForkJoinPool forkJoinPool = new ForkJoinPool(8);

 

static과 지역변수로 설정했을때 실행시간 비교

 

Jmeter를 활용한 테스트

테스트 선행 조건

• 1초 마다 5번씩 2개의 요청을 호출합니다
• ForkJoinPool 사이즈는 2개로 고정했습니다

지역변수로 수행했을때 결과

전역변수로 수행했을때 결과

차이 비교

• 지역변수로 설정했을땐 평균 2.8초 소요되었고, 전역변수로 설정했을땐 4초 이상이었습니다
• 사이즈를 적게 잡은것도 있지만 차이를 보여주기 위해 일부로 적게 설정했습니다
• 이처럼 사이즈에 따라서 성능에 영향을 줄수 있으니 주의해야 합니다!!

 

2. 커스텀 쓰레드 풀을 지정 (선택 안함)

• parallelStream은 기본적으로 글로벌 FolkJoinPool 쓰레드를 사용합니다. 그렇기 때문에 커스텀 쓰레드풀을 생성해서 수행해도 동작하지 않습니다

그래도 눈으로 보는게 좋으니 실제로 확인해봅시다.

우선 커스텀 쓰레드풀을 생성합시다.

@Configuration
public class ResizeThreadPoolConfigure {
	@Bean(name = "testThreadPoolTaskExecutor")
	public Executor resizeThreadPoolTaskExecutor() {
		ThreadPoolTaskExecutor taskExecutor = new ThreadPoolTaskExecutor();
		taskExecutor.setCorePoolSize(3);
		taskExecutor.setMaxPoolSize(20);
		taskExecutor.setQueueCapacity(15);
		taskExecutor.setThreadNamePrefix("CUSTOM_RESIZE_THREAD-");
		taskExecutor.initialize();
		return taskExecutor;
	}
}

 

커스텀으로 생성한 쓰레드풀로 병렬스트림을 수행해봅시다.

1부터 4까지 병렬 스트림으로 요소당 1초 인터벌을 두었습니다

@Component
public class TestThread {
	@Autowired
	@Qualifier("testThreadPoolTaskExecutor")
	Executor executor;

	public void test() {
		executor.execute(() -> IntStream.rangeClosed(1, 4)
			.parallel()
			.peek(i -> {
				try {
					TimeUnit.SECONDS.sleep(1);
				} catch (InterruptedException e) {
					throw new RuntimeException(e);
				}
			}).forEach(i -> log.info("ParallelStream() -> {}", i)));
	}
}

 

결과를 확인해봅시다.

 

커스텀 쓰레드풀로 실행된건 하나 뿐이었고 나머지는 commonPool의 ForkJoinPool 쓰레드를 사용한것을 확인할 수 있습니다.

---

정리

백엔드로만 이미지 로드 개선 방법 : 이미지 리사이즈 parallelStream으로 병렬 처리하기

• ForkJoinPool로 가용할 쓰레드 풀 지정하기
  • 선언 방법 : 지역변수 or static
    • 지역변수는 shutdown 설정을 잘해줘야 성능이 보장된다.
    • static은 size 설정을 잘해줘야 성능이 보장된다.