Test edilen telefon genelde ideal telefondur: şarjı dolu, interneti hızlı, dili sizin dilinizle aynı, kimse aramaz. Oyuncunun ya da kullanıcının telefonu böyle değildir.
Hataların çoğu bu farkın içinde yaşıyor. Uygulama normal koşullarda düzgün çalışıyor, sonra biri onu metroda, şarjı yüzde beşken, telefonu Japonca kullanırken açıyor.
Elle denemesi zor olan şeyler
Bu durumları bir insanın masasında tekrar üretmesi zahmetlidir:
- Pili gerçekten azaltmak. Telefonu bekletmeniz ya da pil tasarrufu ayarlarıyla oynamanız gerekir.
- Şebekeyi bozmak. Uçak moduna almak kolay, ama “zayıf 3G sinyali” ya da “servis yok” durumunu istediğiniz an kurmak kolay değil.
- Telefonu başka dile almak. Ayarlardan dili değiştirip geri almak her test için ayrı iş.
- Tam ödeme sırasında arama gelmesi. Bunu zamanlamak için yanınızda ikinci bir telefon gerekir.
- Adım sayacı, konum, sensörler. Yürüyor gibi görünmek ya da GPS’i sinyalsiz bırakmak elle mümkün değil.
Bu yüzden bu senaryolar test listesinden düşer. Sonra da hatalar oradan gelir.
TestSafe’te telefon bir ayar
TestSafe’te cihazın durumu testin parçası. Ortam tanımlarken telefonu hangi durumda istediğinizi söylüyorsunuz, test o durumda başlıyor. Biz kendi testlerimizde şu ortamları kullanıyoruz:
- Varsayılan cihaz: Hiçbir şey özelleştirilmemiş. Her gece çalışan testler bunu kullanıyor.
- Türkçe telefon: Aynı cihaz, arayüz dili Türkçe. Uygulamanın Türkçe metinleri yükleniyor mu diye bakıyoruz.
- Zayıf sinyal, düşük pil: Pil yüzde on ikide sabit, şebeke 3G ve sinyal zayıf. Ödeme ve yolculuk akışları burada deneniyor.
Ortamı bir kez hazırlıyorsunuz, sonra her testte aynısını kullanıyorsunuz. Aynı senaryoyu iki farklı ortamda çalıştırıp sonuçları yan yana koymak da mümkün.
Senaryonun içinde de değiştirilebiliyor
Bazı hatalar sabit bir durumda değil, durum değişirken çıkıyor. Bunun için cihazı testin ortasında değiştiren hazır adımlar var: pil seviyesini düşürmek, uçak moduna almak, şebeke tipini değiştirmek, SMS göndermek, telefonu çaldırmak, konumu değiştirmek, ekranı döndürmek ya da çözünürlüğü tabletinkine almak.
Yani senaryo şöyle olabiliyor: sepeti doldur, ödeme ekranına gel, şimdi şebekeyi kes, sonra geri ver ve siparişin iki kez oluşmadığını doğrula.
Neye dikkat ediyoruz
Bu tür testleri yazarken işe yarayan üç alışkanlık var:
- Durumu hatanın çıktığı yere yakın kurun. Pili testin başında değil, ödeme ekranına geldikten sonra düşürmek daha çok şey gösteriyor.
- Ne beklediğinizi yazın. “Uygulama çökmesin” yeterli değil. “Uyarı kapatılınca sepet aynı kalsın” gibi bir cümle, raporun kontrol edebileceği bir beklenti oluyor.
- Tek seferde tek şeyi değiştirin. Hem dili hem şebekeyi hem pili aynı anda bozarsanız, çıkan hatanın hangisinden geldiğini anlamak zorlaşıyor.
Cihaz ortamında nelerin ayarlanabildiğini Cihaz Koşulları sayfasında topladık. Kendi uygulamanızda hangi durumun hata çıkardığını merak ediyorsanız, en iyi başlangıç genelde kullanıcıların şikâyet ettiği yerdir: “otobüste oluyor”, “şarj azken oluyor”, “arama gelince oluyor”.