테스트 코드 성능 개선기

문제 발생

여느때 처럼 PR이 올라오고 있었는데… PR 생성하면서 빌드를 수행하는데 끝날 기미가 보이지 않았다..

 

기다려보니 빌드는 성공하였지만, 빌드 수행시간이 13분을 육박하였다…

 

문제해결 필요성

→ 기능 하나 추가하는 시간이 너무 오래 걸린다..

→ 이렇다보니 테스트 코드를 작성하는것도 부담이 되고 PR을 올리는것조차 부담이 된다..

→ 시간이 오래 걸리니 한번에 많은 기능을 하나의 PR에 묻어가고 싶은 마음이 든다…

→ 하나의 PR에 많은 기능을 넣다보니 리뷰도 원활히 되지 않는다…

→ 리뷰가 원활히 되지 않으니 동적으로 발생하는 오류 사항을 놓치고 만다…

→ 그렇게 우리 서비스는 점차 지뢰 밭이 되고 만다…?

개선이 시급하다

 

우선 느려지는 원인에 대해서 파악해보자

• 단위 테스트만 하는 상황인데도 @SpringBootTest 어노테이션을 사용하다 보니 불필요한 bean은 로드하고 있었다.
• 그래서 불필요한 bean은 로드하지 않고 필요한 bean만 사용하도록 개선이 필요하다

 

해결안1

데이터 커넥션 회피하기

• 테스트 코드에서 데이터 커넥션은 DAO 테스트코드에서만 필요하다. 
• 데이터 커넥션에 사용하는 bean을 제외시켜주고 DAO를 mocking 처리해주자.

@EnableAutoConfiguration(exclude= DataSourceAutoConfiguration.class)

 

카프카 커넥션 회피하기

• 카프카 컨슈머, 프로듀서에서 사용되는 bean을 제외시킨다

@EnableAutoConfiguration(exclude= KafkaAutoConfiguration.class)

@EnableAutoConfiguration 사용시 주의사항 !!!

특정 bean을 제외시키면 모든 bean을 로드시키지 못하게 된다. 그래서 로드할 bean을 지정해주어야 한다

@SpringBootTest(classes = ExternalLoginService.class)

위와 같이 classes에 로드할 bean 클래스를 지정해주자

 

서비스 디스커버리 회피하기

• 서비스 디스커버리 연결도 테스트 코드에선 무의미 하다
• 로컬에선 디스커버리 연결할 필요가 없으니 비활성화 시키자

// application-local.yml

eureka:
  client:
    enabled: false

 

스프링 클라우드 버스 카프카 회피하기

• 스프링 클라우드 버스를 통해서 프로퍼티를 자동 갱신할 수 있다
• 하지만 이도 로컬 또는 테스트 코드에선 의미가 없으니 비활성화 시킨다
• 그러면 카프카 컨슈머 생성도 완전히 회피할 수 있다

// application-local.yml

spring:
  cloud:
    bus:
      enabled: false

 

Controller 테스트 코드 작성시 @SpringbootTest 대신 @WebMvcTest를 사용하기

• @SpringbootTest 사용하면 exclude와 같이 별도 제한을 설정해줘야 한다. 비효율적이다.
• API 통신에 MockMvc를 사용한다면 @WebMvcTest를 사용하자
  • @WebMvcTest를 사용하면 Web MVC 계층에 필요한 bean들만 로드한다.  ex) @RestController, @ControllerAdvice, Filter, Interceptor, WebMvcConfigurer, HandlerMethodArgumentResolver
  • MockMvc 주의사항 : security 설정을 disable해주지 않으면 4xx에러가 발생한다 

@WebMvcTest(excludeAutoConfiguration = {SecurityAutoConfiguration.class})

 

 

그럼 이제 결과를 한번 볼까나..?

9분 50초…?

아직 불만족스럽다.

 

해결안2

외부 환경을 개선해보자

PR 생성시 빌드할때는 github action을 사용한다

그런데 github 에서는 github action을 수행할때 runner의 스펙 사양을 유료로 제공하고 있다

그럼 현재 기본으로 사용하고 있는 runner 사양을 확인해보자

github.com

• github에서 기본으로 제공하고 있는 기본 runner의 사양은 Standard_DS2_v2로 제공한다고 되어있다

• microsoft에서 보면 해당 사양은 `CPU 2`, `7GB` 메모리라고 되어있다

Runner의 메모리와 core를 올려서 다시 빌드해보자

• core는 16, 메모리는 64GB의 클라우드 환경 runner를 생성하였다
• runner를 지정하자

jobs:
  build:
    name: BUILD
    runs-on: ubuntu-latest-16-cores // runner의 라벨명을 사용

그럼 결과는 어떻게 되었을까?

`13분 → 6분대로 속도가 개선된 것을 확인할 수 있다

해결안3 (실패)

테스트코드 병렬처리

• 테스트 코드는 독립적이라 병렬로 처리되면 더 속도를 줄일 수 있을것 같다..
• junit 5에서는 property를 사용하여 간단하게 병렬 처리를 수행할수 있다
• 참고 : https://junit.org/junit5/docs/snapshot/user-guide/

// 병렬처리 활성화 여부
junit.jupiter.execution.parallel.enabled=true

// 병렬처리시 클래스내 메소드를 같은 쓰레드로 돌릴지 여부(same_thread는 같은 쓰레드, concurrent는 다른 쓰레드)
junit.jupiter.execution.parallel.mode.default=same_thread

// 클래스별 병렬처리는 같은 쓰레드로 수행할지
junit.jupiter.execution.parallel.mode.classes.default=concurrent

// 병렬처리시 쓰레드 할당 방법(dynimic은 코어당 최대 8개 사용, fixed는 쓰레드 갯수를 지정)
junit.jupiter.execution.parallel.config.strategy=fixed

// 쓰레드 갯수 지정(dynamic일 경우 최댓값이 1, fixed
junit.jupiter.execution.parallel.config.fixed.parallelism=3

과연 결과는…?

• 시간은 개선되지 않았다..
• 오히려 core쪽에는 db connection 오류가 발생하여 실패가 나서 병렬로 처리하지 못하였다..
• 우선은 core 쪽은 병렬 처리 설정을 제거한다
• external 모듈 쪽은 db connection이 없기 때문에 최대한 병렬처리를 활용해본다
• core쪽도 병렬 처리를 하면 테스트 코드 수행 시간은 크게 개선될 수 있을것 같다
• 이부분은 시간을 두고 검토해보자

 

해결안4

• 모든 빈 설정을 비활성화 하였더라도 가장 좋은건 application context를 로드 하지 않는것이다
• 기존에 작업한 bean들은 생성자 주입 방식이므로 mock으로 주입받은 서비스 객체를 생성하면 애플리케이션 컨텍스트 자체를 실행시키지 않아도 된다

// @SpringBootTest(webEnvironment = SpringBootTest.WebEnvironment.RANDOM_PORT, classes = ExternalAddressService.class)
// @EnableAutoConfiguration(exclude= DataSourceAutoConfiguration.class)
@ExtendWith(MockitoExtension.class)
class ExternalAddressServiceTest {
    @Mock
    AddressService addressService;

    // @Autowired
    ExternalAddressService externalAddressService;

    @BeforeEach
    void setup() {
        externalAddressService = new ExternalAddressService(addressService);
    }

    @Test
    @DisplayName("주소는 조회되어야 한다")
    void getAddress() {
        // given
        String keyword = "영등포구";
        given(addressService.getAddress(keyword)).willReturn(List.of(Address.builder().build()));

        // when
        List<AddressResponse> addresses = externalAddressService.getAddress(keyword);

        // then
        Assertions.assertNotNull(addresses);
    }
}