들어가기 전에
숙명여대 신입생, 재학생, 졸업생이 사용하는 커뮤니티 웹 서비스 ‘스노로즈’의 리뉴얼 과정에서, 다양한 디바이스와 브라우저 환경에서 테스트맵에 따라 진행한 알파 및 베타 테스트 경험을 공유하고자 합니다.
전면 리뉴얼의 계기
스노로즈는 2007년 처음 서비스를 시작했고, 마지막 리뉴얼은 약 6년전인 2018년 9월에 진행된 스노로즈 5.0이예요.
스노로즈 5.0 이후 6년의 시간만큼 서비스 사용자도 크게 증가했고, 그 만큼 여러 문제점들이 있었습니다.
준회원>정회원까지 등업하는데 많은 시간이 소요되는 이슈 (수동 인증 방식)- 경험) 저도 6개월이 걸렸어요. 등업 일정 관련 공지가 나오기를 계속 체크하고, 일정에 맞춰 등업 신청 양식을 제출해야 했어요. 신청 양식에 맞지 않으면 약 2-3개월 이후 등업 신청 기간을 다시 기다려야하는 상황도 있었고요.
- 게시글을 작성 후에 포인트가 즉시 적립되지 않고, 일정 시간이 지나야 적립되는 이슈
- 포인트 적립 및 차감이 즉시 반영 되지 않고, 일정 시간이 이후에 반영되는 이슈 (포인트 내역 보기 포함)
- 댓글 작성이 완료되는데 상당한 시간 소요되는 이슈
- 같은 시험 후기를 여러번 다운 받으면, 그만큼 포인트 차감도 여러번 되는 이슈
- 경험) 다운로드 한 번에 굉장히 신중해진다..
알파 & 베타테스트 진행
리뉴얼 개발은 7월 초부터 시작되었어요. 두 달이라는 짧은 기간 동안, 일일 사용자가 최소 1,800명에서 최대 2,700명에 이르는 대규모 서비스를 완성해야 했습니다. 서비스 규모만큼이나 안정성 확보도 매우 중요했기 때문에,
- 스노로즈 팀 내부에서 알파 테스트를 진행했고,
- 이후 학우들을 대상으로 베타 테스트를 진행했다.
1) 알파 테스트
[알파 테스트 - 역할 분담]
- 팀원들의 디바이스 조사를 토대로 각 역할 분담을 진행
[알파 테스트 - 진행]
- 약 10일간 테스트맵을 따라서 테스트를 진행. (일부 발췌)
- 상황에 맞게 알파 테스트를 완료한 부분에 본인 이름 스티커를 부착
[알파테스트 - 이슈 정리]
- 관련 이슈를 하단 테이블에 정리를 하는데, 약 140개의 이슈 발생
- 해당 부분의 개발 담당자는 긴급도가 높은 순으로 해당 오류를 해결
[이슈 해결 과정]
- 리포터가 프론트 에러 인지 백엔드 에러 인지 1차 판단을 하고, 해당 담당자가 이슈를 해결
- 제가 담당한
마이페이지와신고하기관련 이슈가 약 25건 정도 있었는데, - 대체로 only 프론트 에러, only 백엔드 에러 보다는, 프론트와 백엔드가 함께 수정해야하는 이슈들이 대부분이였어요. (백엔드와 소통을 많이 한 순간 중에 하나였습니다)
- 하단에는 프론트와 백엔드 이야기하며 이슈 해결 과정입니다.
2) 베타 테스트
-
50명의 학우를 대상으로 7일간 진행했고,
-
이전 알파테스트에서도 약 140건의 이슈를 해결했음에도 이후 60건의 추가 이슈가 발생했어요.
-
그래도 알파 테스트를 거친 덕분에 긴급도가 높은 이슈는 많지 않았어요.
-
이슈 해결은 알파테스트와 비슷한 형태로, 긴급도가 높은 이슈를 먼저 해결했습니다.
다양한 테스트를 거치며
다양한 디바이스, 버전, 브라우저에 대해 대응할 수 있는 서비스 개발이 필요함을 알게 되었어요.
이전에 내가 진행했던 사용자 테스트는 사용자의 디바이스를 이미 알고 있는 상태에서 진행했기 때문에, 이슈가 발생하면 해당 디바이스만 대응했었어요.😅 하지만 사용자가 많은 서비스인만큼 다양한 버전과 브라우저에 대한 고려가 필요하다는 걸 느끼게 되었습니다.
또 그동안 Chrome에만 익숙했는데, 다른 브라우저들만의 특성을 조금씩 알게 되었어요. 예를 들어, Safari는 input 창에 포커스가 되면 화면이 확대되는 이슈가 있고, 이를 해결하려면 meta 태그 속성을 수정해야 해요. 또 어떤 브라우저는 input 창에 포커스가 되면 기존 색상이 아닌 노란색으로 변경되기도… 🤔
이번 테스트를 통해 다양한 환경을 경험하면서, 사용자마다 환경이 다르다는 걸 실감하게 되었습니다. 그만큼 다양한 환경에서의 테스트와 고려가 필수적이라는 것도 느끼게 되었어요.
마치며
이제 서비스 오픈이 약 일주일 앞으로 다가왔어요. 알파·베타 테스트에만 60명 넘는 인원이 참여했지만, 오픈 당일 2,000명 이상이 한꺼번에 몰릴 걸 생각하니 조금은 걱정이 되네요. 테스트 과정에서도 다양한 디바이스와 버전에서 예상치 못한 문제를 많이 마주했기에, 그 불안감이 더 커지는 것 같기도 해요.
이렇게 많은 사용자가 있는 서비스를 개발하는 건 처음이라, 안정화의 중요성을 그 어느 때보다 실감하고 있습니다 :)