Nový Sygic a jeho testovanie



Tento týždeň je mega dôležitý pre Sygic a teda aj pre mňa. Po dlhej dobe konečne vychádza nová verzia Sygicu 14.1.0. Testovali sme ju aj s používateľmi počas uplynulých týždňov vo veľmi špecifickom používateľskom teste - vo vozidle. Túto tému som načal pri poslednom SUX fóre, za čo ďakujem MartinePeťovi, ktorí ma pozvali, aby som tam porečnil.

Moja prezentácia bola trochu minimalistická - spoliehal som sa skôr na hovorené slovo ako na slajdy. Pre účel tohto blogu som ju preložil do slovenčiny a pridal som aj nejaké poznámky (sivou farbou). Na záver prezentácie som spúšťal videá, ale tie na internet nemôžem zavesiť kvôli súkromiu testerov.


Takto vyzerala moja úloha (subtasky) v SCRUME:
  1. regrutačný formulár na web - hotovo
  2. odfiltrovať participantov - hotovo
  3. technická príprava: software - hotovo
  4. technická príprava: kamera na tvar, telo, cestu - hotovo
  5. technická príprava: kamera na telefón - hotovo
  6. technická príprava: support - hotovo
  7. technická príprava: skúška techniky - hotovo
  8. pripraviť scenár používateľa - hotovo
  9. kontaktovať participantov - hotovo
  10. pripraviť interview - hotovo
  11. vykonanie testu - ...
  12. spracovanie záznamov - ...
  13. spracovanie výsledkov - po 10. decembri 

Technické veci:
  • 1x dash kamera s GPS modulom (8GB SD karta vydržala 1h 20min)
  • 1x GoPro Hero3+ kamera (vydržala 1h)
  • 2x iPhone 5: na jednom bežala navigácia a druhý figuroval ako hotspot pre Reflector app.
  • 1x MacBook Air: na ňom bežal Reflector app a Quicktime nahrával obrazovku počítača.
  • záznamy som spracovával pomocou Adobe Premiere (záznam bez kompresie bol okolo 100GB)
  • kompresiu som vykonával pomocou VirtualDub (záznam s kompresiou bol okolo 1,2GB)
  • zvuk som čistil pomocou Adobe Audition (funkcia Adaptive Noise Reduction)

Takto to nakoniec vyzeralo v 4:3 formáte, keď bol telefón naležato:



A na stojáka:



Na SUX-e k tomuto padli otázky:
Aké metriky budeš sledovať?
Pôjdem hlavne po čase na splnenie úlohy, potom budem sledovať úspešnosť úloh. Na koniec som vyhodnocoval SUS podľa Saurovho princípu.
Prečo nie ženy?
Lebo tie by si našu navigáciu kúpili s oveľa nižšou pravdepodobnosťou ako muži (podľa marketingového prieskumu).
Menili ste prototyp počas testovania?
Nie. Prototyp je už stabilizovaný produkt a zmeny sa už nedajú aplikovať natoľko iteratívne ako pri jeho vývoji (každá zmena v tomto štádiu = kopec peňazí). Navyše, nechcem robiť unáhlené závery z malej "vzorky". 5 ľudí je už dobrá vzorka.
Testovali ste takto aj počas vývoja?
Nie. Len štandardné používateľské testovanie na papierovom prototype. Takýto druh testovania, vo vozidle, aj napriek zdaniu, je finančne náročný. Príprava a exekúcia mi zabrala takmer 3 týždne času a do značnej miery dosť veľa prostriedkov. Napriek tomu sa podobné testovanie dá realizovať oveľa rýchlejšie.
Vieš predbežne povedať, aké budú výsledky? Spozoroval si niečo?
Áno, aj nie. Spozoroval som toho dosť, ale najskôr chcem mať úplne presne overené, že sú moje domnienky správne a nie len môj osobný názor. Predbežnú správu k testu mám, ale neberiem ju ako finálny ortieľ.




0 komentárov :

Zverejnenie komentára