[짧QA] 24장. 비기능 QA에서 가장 위험한 것은 ‘운이 좋은 테스트’다

비기능 QA를 하다 보면
이런 말이 종종 나온다.

“문제 없었습니다.”
“재현되지 않았습니다.”
“테스트 환경에서는 괜찮았습니다.”

이 말들은
사실일 수 있다.

그리고 동시에
가장 위험한 말이기도 하다.

---

비기능 QA에서
문제가 없었다는 말은
문제가 없다는 증거가 아니다.

그건
그 테스트가
운이 좋았다는 뜻일 뿐이다.

---

운이 좋은 테스트에는
공통점이 있다.

• 테스트 환경이 너무 안정적이고
• 조건이 단순하며
• 시간도 짧고
• 변수가 적다

이 환경에서는
대부분의 비기능 문제는
잠들어 있다.

QA가 테스트를 끝냈다고 느끼는 순간에도
문제는
아직 모습을 드러내지 않았을 뿐이다.

---

비기능 문제는
스스로 나타나지 않는다.

• 조건이 겹치고
• 시간이 쌓이고
• 환경이 흔들릴 때

그제서야
고개를 든다.

그래서
비기능 QA는
항상 이렇게 오해받는다.

“왜 그때는 못 잡았죠?”

정답은 간단하다.

그때는 운이 좋았기 때문이다.

---

운이 좋은 테스트는
QA를 안심시킨다.

• 오래 안 돌려봤지만 괜찮았고
• 네트워크도 안정적이었고
• 데이터도 깨끗했다

하지만 이 안심은
프로젝트를 배신한다.

라이브 환경은
QA 환경과 다르기 때문이다.

---

QA가 가장 경계해야 할 태도는
이것이다.

“이 정도면 괜찮지 않을까요?”

이 말이 나오는 순간,
QA는
판단을 포기하고
확률에 기대고 있다.

비기능 QA에서
확률에 기대는 순간,
사고는 시간문제가 된다.

---

운이 좋은 테스트는
문제를 숨긴다.

• 최저 사양을 안 봤고
• 불안정한 네트워크를 안 만들었고
• 오래된 계정을 안 썼고
• 업데이트 누적을 안 겪었다

이 테스트는
문제를 발견하지 못한 게 아니라
문제가 나오지 않도록 피한 것이다.

---

숙련된 QA는
이걸 본능적으로 피한다.

• 일부러 조건을 겹치고
• 일부러 환경을 흔들고
• 일부러 오래 두고
• 일부러 꼬이게 만든다

이건 성격의 문제가 아니다.

비기능 QA의 기본 태도다.

---

비기능 QA에서
좋은 테스트란
문제가 안 나오는 테스트가 아니다.

좋은 테스트란
이 질문에 답할 수 있는 테스트다.

• 어떤 조건에서 위험해지는가
• 어디까지는 버티는가
• 어디서부터 무너지는가

이 답을 남기지 못한 테스트는
아무리 많이 해도
QA의 역할을 하지 못한다.

---

운이 좋은 테스트의 또 다른 위험은
리포트다.

• “문제 없음”
• “특이 사항 없음”

이 문장은
다음 테스트를
더 얕게 만든다.

QA 스스로
경계를 낮추게 되기 때문이다.

---

그래서 비기능 QA의 리포트는
이렇게 끝나야 한다.

• 이 조건에서는 문제 없음
• 이 조건이 겹치면 위험
• 이 조건은 아직 확인되지 않음

확인하지 못한 영역을
명확히 남기는 것도
QA의 책임이다.

---

정리하자면 이렇다.

비기능 QA에서
가장 위험한 것은
문제가 있는 시스템이 아니다.

문제가 없다고 믿게 만드는 테스트다.

QA가 운을 제거하지 못하면
품질은
언제나 도박이 된다.

비기능 QA의 가치는
문제를 찾는 데 있지 않다.

문제가 숨어 있을 가능성을
끝까지 의심하는 데 있다.

---

살충제 패러독스(Insecticide Paradox)

― 같은 테스트는 결국 아무것도 잡지 못한다

살충제 패러독스라는 개념은
테스트 이론에서 오래된 이야기다.

의미는 단순하다.

같은 살충제를 계속 쓰면
벌레는 죽지 않고 적응한다.

테스트도 마찬가지다.

같은 방식의 테스트를 반복할수록
버그는 줄어드는 게 아니라
테스트를 피해 살아남는다.

---

살충제 패러독스는
“테스트를 많이 하면 안 된다”는 말이 아니다.

살충제 패러독스가 경고하는 것은 이것이다.

테스트 방식이 고정되는 순간,
QA는 현실을 놓친다.

---

QA 현장에서
살충제 패러독스는 이렇게 나타난다.

• 항상 같은 테스트 케이스
• 항상 같은 계정 상태
• 항상 같은 환경
• 항상 같은 진입 경로

QA는 열심히 테스트한다.
하지만 결과는 늘 비슷하다.

“문제 없습니다.”

이건
품질이 좋아졌다는 뜻이 아니다.

문제가
테스트를 피해 가고 있다는 뜻이다.

---

비기능 QA에서
살충제 패러독스는 더 치명적이다.

왜냐하면
비기능 문제는 원래 숨는 성질을 가지기 때문이다.

• 조건이 겹칠 때만 나오고
• 시간이 쌓여야 드러나고
• 환경이 흔들려야 발생한다

그런데 QA가
항상 같은 환경,
항상 안정적인 조건에서만 테스트한다면
문제는 절대 모습을 드러내지 않는다.

---

여기서
8장에서 말한 **‘운이 좋은 테스트’**와
살충제 패러독스가 연결된다.

운이 좋은 테스트는
일시적인 행운이고,
살충제 패러독스는
구조적인 실패다.

• 운이 좋으면 한 번은 넘어간다
• 패러독스에 빠지면 계속 놓친다

QA가 가장 경계해야 할 상태는
바로 이거다.

“계속 테스트했는데
항상 문제 없었다.”

---

이 개념은
곧바로 진입 장벽 QA로 이어진다.

진입 장벽은
살충제 패러독스의 가장 흔한 피해자다.

왜냐하면
진입 테스트는 항상 이렇게 고정되기 때문이다.

• QA가 아는 흐름
• QA가 익숙한 조작
• QA가 이해한 설명

이 상태에서의 테스트는
이미 살충제에 적응한 벌레만 상대하는 꼴이다.

---

신규 유저는
QA와 전혀 다른 조건을 가진다.

• 맥락이 없고
• 용어를 모르고
• 실패에 관대하지 않다

QA가
자기 자신 기준으로 진입을 테스트하는 순간,
살충제 패러독스는 완성된다.

• QA는 익숙해서 괜찮고
• 유저는 이해 못 하고 떠난다

QA 테스트는 통과했는데
지표는 무너진다.

---

그래서 살충제 패러독스가
QA에게 던지는 핵심 질문은 이것이다.

“지금 이 테스트는
문제를 잡고 있는가,
아니면 문제를 피하고 있는가?”

이 질문을
스스로에게 던지지 않는 QA는
아무리 많은 테스트를 해도
같은 실패를 반복한다.

---

살충제 패러독스를
피하는 방법은 단 하나다.

테스트를 계속 바꾸는 것이다.

• 조건을 바꾸고
• 순서를 바꾸고
• 환경을 바꾸고
• 시간을 바꾸고
• 관점을 바꾼다

이건 귀찮은 일이 아니다.

QA의 본질이다.

---

정리하자면 이렇다.

살충제 패러독스는
버그가 진화한다는 이야기가 아니다.

QA의 테스트가 굳어버린다는 경고다.

비기능 QA에서,
진입 장벽 QA에서,
라이브 서비스 QA에서
이 경고를 무시하는 순간
QA는 가장 열심히 일하는
가장 무력한 직군이 된다.