Otonom uygulama testi, AI ajanların bir uygulamayı kullanarak test etmesidir: build’i kurmak, ekranlarını keşfetmek, bir kullanıcı gibi davranmak ve hataları raporlamak, hem de kimse tek satır test yazmadan ve bakımını yapmadan.
Bu, test otomasyonundan farklıdır. Otomasyon, bir insanın önceden kaydettiği ya da kodladığı adımları tekrar oynatır. Arayüz değiştiğinde kırılır ve yalnızca birinin kontrol etmeyi akıl ettiği şeyleri kontrol eder. Otonom bir ajan ise ne yapacağına, tıpkı bir insan test uzmanı gibi, o anki ekrana bakarak karar verir. Uygulama değiştikçe çalışmaya devam eder ve kimsenin kontrol yazmadığı sorunları bulur.
Otonom test nasıl çalışır
Tipik bir otonom test dört aşamadan oluşur:
- Build alınır. Sistem, tam olarak yayına gönderdiğiniz yapıyı alır, SDK eklenmeden ve kod değiştirilmeden.
- Tam bir ortamda çalışır. Build, çizim, girdi, depolama ve ağa sahip tam bir cihaz ortamına kurulur. Böylece davranış kullanıcının yaşadığıyla eşleşir.
- Kullanıcı gibi keşfedilir. AI ajan her ekranı gözlemler, bir insanın makul biçimde yapacağı eylemleri seçer (dokunma, yazma, gezinme, oynama) ve nerede olduğunun kaydını tutar.
- Kanıtla raporlanır. Çökmeler, donmalar, bozuk ekranlar ve performans düşüşleri, yeniden üretme adımları, loglar ve ekran kayıtlarıyla birlikte, onlara yol açan pull request’in üzerine döner.
Oyunlar neden zor vaka
Test araçlarının çoğu, ekranda ne olduğunu anlamak için platformun erişilebilirlik ağacına dayanır. Oyunlarda bu yoktur: bir oyun her şeyi tek bir yüzeye çizer ve sıradan bir araç için ekran yalnızca piksellerdir.
Bunu çözmek motor düzeyinde anlayış gerektirir. Örneğin TestSafe, çalışan bir oyunun sahne grafiğini (kameralar, UI kanvasları, dünya nesneleri, görünürlük, ekran konumları) oyunun dosyasını değiştirmeden ve oyunculara hiçbir şey göndermeden doğrudan canlı süreçten okur. Ajan böylece ekran görüntülerinden tahmin etmek yerine ekranda ne olduğunu ve neyin etkileşimli olduğunu bilir.
Otonom test neyin yerini alır (ve neyin almaz)
En kötü ölçeklenen QA işlerinin yerini alır: her build’de smoke test, her değişiklikten sonra her ekranı yeniden kontrol etmek ve “benim telefonumda çöktü” raporlarını zayıf ağ veya alışılmadık dil gibi belirli cihaz koşullarında yeniden üretmek.
Bir özelliğin doğru hissettirip hissettirmediği konusundaki insan yargısının yerini almaz. Mantık hatalarını build ortada yokken yakalayan birim testlerin de yerini almaz. İkisinin arasında durur. Kullanıcıya görünen hataların çoğunun yaşadığı yerde her zaman açık bir test uzmanı gibi.
Her otonom test sağlayıcısına sorulacak sorular
- Gönderdiğiniz ürünü mü test ediyor, enstrümante edilmiş bir varyantı mı?
- Oyun motorlarını anlıyor mu, yoksa yalnızca native arayüzü mü?
- Sonuçlar nereye düşüyor: sizin akışınıza mı, başka bir panoya mı?
- Cihaz koşullarını (ağ, batarya, dil, sensör) yeniden üretebiliyor mu?
- Her bulguya hangi kanıtlar eşlik ediyor?
Otonom test genç bir alan, ama yön net: build başına QA turunun maliyeti sıfıra gidiyor ve her gün sürüm çıkaran ekipler, her build’in bir oyuncu dokunmadan önce oynanmış olmasını doğal karşılayacak.