앱을위한 최고의 5 가지 베타 테스트 도구

2014 년에 게임 개발자 Red Winter는 앱 스토어에서 인기 게임 Dungelot의 속편을 처음 출시 한 지 불과 며칠 만에 가져와야했습니다. 이유? 이 게임은 버그로 가득 차 있었고, 한 번만 지불하는 영구 모델에서 부분 유료화 모델로 전환되었습니다. 

Red Winter가보다 철저한 베타 테스트 전략을 따랐다면 이러한 문제의 대부분을 피할 수있었습니다. 그리고 이것은 모바일 게임에만 적용되는 것이 아니라 모든 모바일 앱에 적용되는 것입니다.

버그가 너무 많거나 많은 사용자에게 인기가없는 기능이 포함 된 앱을 시작하면 앱의 평판이 영구적으로 손상 될 위험이 있습니다. Red Winter는 Dungelot 2를 수정하고 3 개월 후 더 성공적으로 다시 시작했지만 앱이 쉽게 복구 될 것이라는 보장은 없습니다.

앱 베타 테스트는 다음과 같은 문제를 강조 할 수 있으므로 앱 개발의 사전 출시 단계에서 매우 중요한 단계입니다.

  • 품질 : 우수한 앱을 구축했다고 확신 할 수 있지만 적절한 베타 테스트를 통해서만 모든 기능이 의도 한대로 작동하는지 확인할 수 있습니다. 품질은 다음 요점과 밀접하게 연결되어 있습니다.

  • 사용성 : UI에서 UX까지. 사용 가능한 앱은 직관적 인 사용자 인터페이스가있는 앱으로, 사용자는 앱을 쉽게 탐색하고 원하는 것을 찾고 앱에서 기대하는 작업을 수행 할 수 있습니다. 특정 기능을 수행하는 방법을보고 흐름을 개선 할 방법이 있는지 확인합니다.

  • 버그 : 당연히 앱에 버그가 없는지 철저히 확인했지만 실제 시나리오에서 사용되기 전까지는 확신 할 수 없습니다. 앱을 중단시키는 심각한 버그부터 특정 조건에서만 자신을 드러내는 사소한 버그까지.

  • 성능 : 장치, 운영 체제 및 기타 앱이 모두 앱의 속도와 전반적인 성능에 영향을 미칠 수 있습니다. 베타 테스트는 자신의 실험실 테스트보다 더 확실하게이를 분석 할 수있는 기회를 제공합니다.

  • 마케팅 : 테스터와 친구 간의 입소문 마케팅부터 테스터가 공개 한 이상적인 잠재 고객에 대한 통찰력에 이르기까지 베타 테스트는 마케팅 전략 사전 출시를 구성하는 데 도움이 될 수 있습니다. 

이러한 점을 고려한 후 베타 테스트가 앱과 출시에 엄청난 도움이 될 수 있다는 사실을 부정하기 어렵다는 것을 알게 될 것입니다. 베타 테스트 설정은 다양한 도구를 사용할 수있는 복잡한 프로세스가 아닙니다. 이러한 도구 중 일부는 베타 테스트의 한 측면에만 초점을 맞추고 다른 도구는보다 포괄적 인 기능 집합을 제공하려고합니다. 다음은 가장 좋은 몇 가지 요약입니다.

UXCam

UI와 UX에 대한 토론은 인터넷이 더 쉽게 접근되고 대중화되면서 90 년대 후반에 주류로 접어 들었습니다. 최초의 모바일 앱은 UI와 UX를 잘 활용하지 못했을 수도 있지만, 결국 완전히 새로운 분야였습니다. 대부분의 대형 앱 개발자는 이제 UI와 UX에만 집중하는 별도의 부서를 가지고 있습니다.

엄밀히 말하면 UXCam은 베타 테스트 도구가 아닙니다. 두 줄의 코드를 추가하여 앱 (iOS 또는 Android)에 통합되므로 실제 베타 테스트로 사용을 제한하거나 앱의 최종 릴리스에서 지속적으로 사용할 수 있습니다.

이름에서 알 수 있듯이이 도구는 터치 포인트 및 제스처를 포함하여 앱의 모든 사용자 작업을 화면에 기록하여 앱의 UX를 평가하는 데 도움이됩니다. 이를 원하는 이유는 실제로 사용자가 앱을 사용하는 방식을 보는 것이 일반 사용자 피드백 및 표준 앱 분석보다 훨씬 더 통찰력이 있기 때문입니다. 

추가 기능에는 사용자가 자주 상호 작용하는 화면 영역과 무시하는 영역을 강조하는 히트 맵이 포함됩니다. userflow 기능은 Google 애널리틱스에서 볼 수있는 기능과 유사하며 사용자가 앱을 탐색하는 방법과 이탈 위치를 보여줍니다. 또한 스마트 필터링을 사용하면 특정 날짜 이후에 앱을 사용해 온 사용자 또는 사용한 제스처 수와 같이 집중하려는 기준에 따라 녹음을 쉽게 필터링 할 수 있습니다.

UXCam은 눈에 거슬리지 않으며 사용자가 인식조차하지 못할 것입니다. 이는 사용자 권한이 필요하지 않다는 사실과 함께 개인 정보 보호에 대한 우려를 유발할 수 있지만 UXCam은 모든 민감한 정보를 차단하도록 요구하는 엄격한 정책을 가지고 있습니다.

UXCam 플랜에는 월 $ 199부터 시작하는 Pro 플랜 (중소 기업에 적합)과 함께 제한된 무료 플랜이 포함됩니다.

UserTesting

언뜻보기에 UserTesting은 UXCam과 매우 유사합니다. 앱과 상호 작용하는 실제 사용자의 비디오 (및 오디오)에 액세스 할 수 있습니다. 그러나 UXCam과 달리 UserTesting은 개발주기의 모든 단계에서 사용할 수 있고 테스트 할 작업을 지정한다는 점에서 베타 테스트 도구처럼 보입니다. 따라서 사용자가 전체적으로 앱과 상호 작용하는 방식을 보는 대신 앱의 특정 섹션과 특정 작업에 더 집중할 수 있습니다.

UserTesting은 수행 한 작업에 대한 비디오 녹화뿐만 아니라 앱에 대해 논의하는 사용자의 오디오도 제공합니다. 또한 사용자에게 일련의 질문을 제시하고 특정 기능을 평가하도록 할 수 있습니다. 결과는 각 테스트가 실행 된 후 한 시간 이내에 제공됩니다.

UserTesting의 자체 사용자 풀의 테스터를 사용하고 있지만 지역, 웹 전문 지식 및 기타 주요 인구 통계에 이르기까지 타겟팅하는 사용자 유형을 지정할 수 있습니다. 새로운 테스트를 실행하는 것은 SDK 통합이 필요없는 UserTesting 플랫폼에 앱을 업로드 한 다음 테스트 매개 변수를 만드는 것만 큼 간단합니다. 

아직 베타 테스트에 익숙하지 않은 경우 UserTesting 웹 사이트에는 따라야 할 편리한 체크리스트를 포함하여 풍부한 리소스가 포함되어 있습니다. 개인 계획은 독립 개발자 및 소규모 비즈니스에 충분하며 엔터프라이즈 계획은 더 고급 기능을 제공합니다.

99 테스트

99tests는 크라우드 소싱 테스트 플랫폼으로 홍보됩니다. 이것이 의미하는 바는 UserTesting과 마찬가지로 주요 인구 통계, 기기 유형, 위치 등의 대상 유형을 지정하면 99 개의 테스트가 완벽한 테스터를 찾습니다.

다른 테스트 도구와 마찬가지로 사용성 테스트가 제공되지만 99tests는 현지화 테스트, 탐색 테스트 및 보안 테스트도 제공합니다. 현지화 테스트는 로컬 사용자가 디자인에 어떻게 반응하는지 등을 고려하여 앱을 사용할 수있는 위치의 사용자간에 앱을 테스트하는 것입니다. 대부분의 테스트 사례에서는 사용자가 특정 작업을 수행하고 앱을 통해 미리 정의 된 경로를 따라야합니다. 하지만 탐색 적 테스트를 통해 테스터는 제한없이 앱을 탐색 할 수 있습니다. 사용자가 앱과 상호 작용하기를 원하는 방식에 대한 선입견이 있지만 실제로 그럴 것인지 여부는 알 수 없습니다. 탐색 적 테스트는 앱을 디자인 한 방식으로 사용하지 않을 때만 나타나는 문제를 식별하는 데 도움이 될 수 있습니다.

물론 앱에 등록이 필요하거나 사용자가 민감한 정보를 입력 할 수있는 기능이 필요한 경우 보안 테스트가 중요합니다. 데이터 유출은 대기업에서도 관리하기에는 악몽입니다.

99test를 차별화하는 또 다른 기능은 테스트에 자동화 요소가 있다는 것입니다. 테스트의 각 라운드에 대한 테스트 계획을 컴파일해야하지만 99 테스트 테스터는 자동화 된 스크립트를 사용하여 매우 짧은 기간에 수십 개의 서로 다른 시나리오를 테스트 할 수있는 자체 테스트 케이스를 만들 수 있습니다. 99tests는 많은 인기있는 버그 추적 도구와 통합되기 때문에보고 된 버그를 추적하는 것은 단일 대시 보드를 통해 관리되며 앱 채점자 점수를 통해 각 테스트 후 앱의 품질을 추적 할 수 있습니다.

자동화, 위험 범위 및 엔터프라이즈 테스트에 대한 가격은 요청시 제공되며 빠른 '버그 bash'계획은 $ 500부터 시작합니다. 대부분의 테스트는 한 달 동안 실행되며 복잡한 앱은 2-3 개월이 필요합니다.

TestFairy

TestFairy는 사용자가 앱으로 수행하는 작업에 대한 비디오 녹화를 제공하는 또 다른 베타 테스트 도구입니다. 그러나 TestFairy는 테스터 풀에 대한 쉬운 액세스를 제공하지 않으며 자신의 테스터를 소싱해야합니다. 이것은 베타 테스트 도구를 고려할 때 거래를 중단해서는 안되지만, 아직 자체 테스터 풀이없는 경우 TestFairy에 가입하기 전에 테스터 '채용'계획을 마련해야 함을 의미합니다. 가족 및 친구를 사용하는 것은 좋은 시작이지만 의도 한 청중의 인구 통계와 일치 할 때만 가능합니다. 예를 들어 WiFi와 모바일 데이터를 사용하는 등 다양한 기기에서 다양한 실제 상황에서 앱을 테스트 할 수있는 다양한 테스터 풀이 필요합니다.

TestFairy는 기본 앱과 Adobe Air, Unity 등과 같은 플랫폼을 사용하여 개발 된 앱의 테스트를 모두 지원합니다. 테스트 계획이 버그를 찾고 제거하는 데 초점을 맞추고 있다면 TestFairy가 몇 가지 최고의 버그 추적 서비스. 그리고 사용자는 버그보고 양식을 호출하기 위해 장치를 흔들기 만하면됩니다!

TestFairy는 또한 모바일 세계가 얼마나 단편화되어 있는지 잘 알고 있으므로 10,000 개 이상의 장치에서 앱이 어떻게 보이는지 확인할 수있는 기회를 제공합니다. 지치게 들리지만, 앱이 최대한 많은 사용자를 위해 완벽하게 작동하도록하려면 약간의 희생이 필요합니다. 

TestFairy 계획은 무료 (100 % 무료)로 시작하므로 제한된 예산으로 SMB에 이상적인 솔루션입니다. 앱에서 작업하는 대규모 팀이있는 경우 시작 및 엔터프라이즈 계획을 고려할 수 있습니다.

HockeyApp

앱을위한이 최고의 베타 테스트 도구 모음의 마지막 도구는 단순한 테스트 도구 이상을 제공하는 도구입니다. HockeyApp은 베타 테스트 도구에서 기대할 수있는 표준 기능을 제공하지만 사용자 메트릭도 포함합니다. HockeyApp의 사용자 측정 항목은 활성 사용자 수 및 참여에서 지난 30 일 동안 앱이 다운 된 기기에 대한 정보에 이르기까지 모든 것을 포함합니다. 이 마지막 측정 항목은 모든 사용자에게 영향을 미치는 버그와 특정 기기의 사용자에게 영향을 미치는 버그를 구별하는 데 매우 유용 할 수 있습니다.

TestFairy와 마찬가지로 HockeyApp은 기본 앱과 다른 플랫폼을 사용하여 개발 된 앱 모두에 사용할 수 있습니다. 충돌 보고서는 기본적으로 HockeyApp 플랫폼으로 직접 전송되지만 선호하는 버그 추적 플랫폼과 직접 통합 할 수도 있습니다. 팀원 간의 커뮤니케이션은 HockeyApp 대시 보드로 제한하거나 Slack 및 HipChat에 통합 할 수 있습니다.

HockeyApp은 2014 년에 Microsoft에 인수되었지만 이는 iOS 및 Android 앱을 모두 테스트하는 능력에 영향을주지 않는 반면, 플랫폼 전체는 Visual Studio Mobile Center로 마이그레이션 하느라 분주합니다. 새로운 사용자는 이미 액세스를 위해 등록 할 수 있습니다. . 여기에서 설명하는 다른 도구와 마찬가지로 HockeyApp을 앱에 통합하는 것은 매우 간단하며 SDK는 수동으로 통합하거나 HockeyApp에서 제공하는 클라이언트 앱 중 하나를 사용하여 통합 할 수 있습니다.

HockeyApp의 가격도 매우 간단합니다. 앱이 10 개 미만인 개발자는 각 앱에 대한 테스터 수에 제한없이 무료로 서비스를 사용할 수 있습니다. 이후 가격은 보유한 앱 수에 따라 계층화되며 최대 15 개 앱에 대해 월 $ 30부터 시작합니다.

모바일 펜스의 양면 재생

모바일 앱 베타 테스트에 사용할 수있는 많은 도구가 있지만 모두 iOS 및 Android 앱 테스트를 지원하기 때문에 이러한 도구를 선택했습니다. 모바일 생태계의 초창기에는 iOS 또는 Android 만 타겟팅 할 수 있었지만 더 이상 실행 가능하지 않습니다. 그리고 Android가 iOS에 비해 상당한 우위를 차지하고 있지만 하나의 운영 체제에 집중하면 도달 범위가 여전히 제한됩니다. 또한이 도구에는 UX 테스트에만 집중하려는 개발자와보다 포괄적 인 테스트 제품군을 찾는 개발자를위한 옵션이 포함되어 있습니다. 

잠재 고객의 잠재적 인 규모에 관계없이 앱을 베타 테스트에 공개하는 것은 생각할 필요가 없습니다. 고객은 더 세련된 제품을 즐기고 더 많은 충성도 높은 사용자를 즐길 수 있습니다.