Test sonuçlarına güvenmemenin en yaygın sebebi, raporun tek başına bir şey anlatmaması. Ekranda kırmızı bir satır var: “checkout_flow başarısız”. Sonra ne oluyor? Biri o testi kendi bilgisayarında tekrar çalıştırıyor, geçiyor, “bu test zaten ara sıra patlıyor” deniyor ve o satır bir daha kimsenin bakmadığı bir gürültüye dönüşüyor.
Sorun testin kendisinde değil, raporun ne verdiğinde.
Rapor bir soruyu cevaplamalı
Raporu okuyan kişinin tek bir sorusu var: bu gerçek mi?
Cevabı on saniyede verebilmek için raporda şunlar lazım:
- Ne beklendiği. “Başarısız” değil, “iptal edilen yolculuğa dokununca uygulama çökmemeli”.
- Ne olduğu. Sade bir cümleyle, teknik terim olmadan.
- Kanıt. Videonun tam o anı, ekrandaki hata, cihazın kendi kaydı.
- Nerede olduğu. Hangi ekran, hangi adım, uygulamanın hangi parçası.
Bunlar yoksa rapor bir iddiadır. Varsa, rapor bir delildir.
TestSafe raporunda ne var
Bir test bittiğinde rapor tek sayfada toplanıyor:
Özet. Sonuç, süre, kaç adım çalıştı, kaç uyarı çıktı. Altında yapay zekânın sade bir dille yazdığı sonuç raporu: ne denendi, ne oldu.
Adımlar. Her adımın ne kadar sürdüğü ve ajanın tek tek ne yaptığı. “Uygulamayı başlat”, “Metin yaz: telefon numarası”, “Dokun: DEVAM” gibi. Bir adım hata verdiyse hangisi olduğu belli.
Video. Testin tamamının ekran kaydı. Rapordaki her kriter videonun bir saniye aralığını gösteriyor, oradan açılıyor.
Çökme kaydı. Uygulama kapandıysa Android’in ürettiği hata kaydı rapora giriyor: hatanın adı, uygulamanın hangi ekranından geldiği ve yığın izinin tamamı. Aynı yerden cihaz günlüklerine geçilebiliyor.
Performans. CPU, bellek, kare hızı ve ağ kullanımı test boyunca çiziliyor. Siz istemeseniz de kaydediliyor, çünkü “uygulama yavaşladı” şikâyeti geldiğinde geriye dönüp bakacak bir yer gerekiyor.
Bilgi. Hangi cihaz, hangi sürüm, hangi ortam, testi ne başlattı.
Kriter tablosu neden işe yarıyor
Raporun en çok kullanılan yeri kriter tablosu oldu. Her satırda bir beklenti, sonucu ve videonun saniye aralığı var. Bu tablo iki işi birden yapıyor:
- Testin neyi kontrol ettiğini, testi yazmayan birine anlatıyor.
- “Bu gerçek mi” sorusunu tıklanabilir hale getiriyor.
Bir kriter uyarı verdiğinde tartışma “test mi bozuk” değil, “şu videonun 2:03’üne bak” oluyor.
Rapor nereye gelmeli
İyi bir raporun son özelliği: aramak zorunda kalmamanız. Rapor ekibin zaten baktığı yere gelmeli. Bizde GitHub’daki soruna yorum olarak düşüyor, Slack’e bildirim gidiyor, Jira’da kayıt açılıyor.
Ayrı bir panele koyduğunuz her rapor, bir süre sonra kimsenin açmadığı bir sekmeye dönüşüyor.
Örnek bir raporun ekran görüntülerini Hızlı Başlangıç sayfasında bulabilirsiniz.