Testy performance, czyli słów kilka o przeciążeniu aplikacji

Czym są testy performance? Dlaczego się je wykonuje oraz jakie są ich główne cele? Jakich podstawowych narzędzi używa się do testowania oraz jak odbywało się ono w przeszłości?
Zaprezentujemy jaki jest główny podział testów performance oraz wskażmy inne ciekawe przypadki z życia, w których to nie były przeprowadzane testy.

Czym są testy performance i dlaczego się je wykonuje?

W postępie technologicznym wskazujące coraz to bardziej rozbudowane aplikacje łączące się za pośrednictwem Internetu z serwerami, z których są przesyłane oraz pobierane dane. Następnie dane te są przetwarzane oraz przesyłane do zwykłych użytkowników. W większości przypadków aplikacje nie są odpowiednio testowane pod kątem różnych obciążeń. Może wpływać na to:

• ograniczony czas,
• fundusze,
• brak dobrego zaplanowania testów,
• zwykłe zaniedbanie spowodowane błędną ufnością do zasobów oraz sprzętu oferującą przez firmy hostujące.

Testy performance mają przede wszystkim uświadomić nam możliwości oraz kryteria działania aplikacji w warunkach bardzo dużej eksploatacji  przez dane grono użytkowników, a także zapobiegać przed nieprzewidzianymi, nieupoważnionymi działaniami, takimi jak ataki typu DDOS prowadzonych przez hakerów.

Pora wzmożonej aktywności, na przykład, gdy duża liczba użytkowników loguje się w jednym czasie, może spowodować, że aplikacja źle przetestowana pod kątem wydajnościowym, z powodu błędów, skutkuje spadkiem ładowania zasobów odzwierciedlonych w prędkości działania aplikacji. Przedkłada się to ostatecznie na całkowite przeciążenie serwera oraz brak przesyłanych do użytkowników informacji.

Każdemu z nas nieraz zdarzyło się przecież klikać wielokrotnie na przycisk podczas ładowania się formularza w przeglądarce internetowej na stronie.
Przykładowo, możemy sobie wyobrazić, że jest prowadzona kampania reklamowa nowego produktu, który jest bardzo pożądany.
Na cel kampanii reklamowej ów produktu firma x zainwestowała dużą część funduszy. Produkt ten można zakupić przedpremierowo z wielkim rabatem, ale tylko poprzez aplikację tej firmy x, która to aplikacja z kolei była robiona po kosztach bez przeprowadzenia odpowiednich testów.
W dniu premiery tą samą czynność wysyłania formularza zakupu powtarza w tym samym czasie bardzo duża liczba ludzi. Requesty (informacje wysyłane przez użytkowników) wysyłane na serwer gromadziły się ponieważ zasoby powiązane z serwerem pozwalają tylko na realizację oraz przetworzenie skończonej ilości zapytań oraz odpowiedzi. Dodatkowo wraz z postępem czasu, zwiększaniem się liczby użytkowników chcących nabyć produkt firmy x, sytuacja wymyka się spod kontroli, czego efektem jest całkowicie zawieszenie aplikacji. Pomimo, że firma x wydała bardzo duże środki pieniężne na kampanie reklamowe produktu oraz przyciągnęła dużo potencjalnych klientów poprzez zaniedbanie nie udało się jej osiągnąć wyznaczonego celu, ucierpiał też jej wizerunek.

Aby uniknąć sytuacji przedstawionej powyżej, powinno się przeprowadzać testy wydajnościowe mającej na celu symulację obciążenia, która pozwoli na zbadanie wytrzymałości aplikacji na zadany, spodziewany ruch.

Główne cele testów wydajnościowych

Wiedząc już co nieco o testach performance i dlaczego się je wykonuje, możemy zastanowić się jakie są przyświecające im główne cele oraz co jest przede wszystkim mierzone ? W testach performance dokonujemy pomiaru:

• Szybkość czasu odpowiedzi (ang. speed requests)– pomaga nam to w ustaleniu w jakim czasie są przesyłane wartości oraz jak długo trzeba czekać np. na odpowiedź z serwera
• Stabilność (ang. stability)– czy system podczas pracy o różnych porach dnia, pod różnym obciążeniem zachowuje się w sposób stabilny oraz jednolity.
• Konfiguracja (ang. configuration)– pomaga nam w określeniu jaka jest najlepsza optymalna konfiguracja dla systemu podczas jego ciągłego działania np. ile zasobów pamięci oraz ile procesorów jest potrzebna. Pomaga to w zredukowaniu kosztów eksploatacyjnych działania aplikacji.
• Pojemność (ang. capacity)– określenie maksymalnej dozwolonej wartości np. zalogowanych użytkowników w danym momencie czasowym, po przekroczeniu której aplikacja zaczyna już działać powolnie.
• Wąskie gardła aplikacji (ang. bottleneck)– czyli jak jeden z procesów aplikacji może oddziaływać na inny powodując nieefektywne jego działanie. Które procesy powodują niestabilne działanie aplikacji.
• Porównanie (ang. comparability)– czy po aktualizacji oprogramowania nie weszły zmiany, które spowodowały spadki jego wydajności
• Skalowalność (ang. scalability) – ustalenie jakie zasoby sprzętowe są najbardziej odpowiednie dla poprawnego działania aplikacji.

Jakie narzędzia ?

Dawno, dawno temu nie było tak dużego wyboru narzędzi do wykonywania testów performanceowych jak dzisiaj. Zazwyczaj wszystko odbywało się manualnie i było wykonywane przez grupę zwykłych testerów połączonych za pomocą komputerów do serwera. Grupa ta np. w tym samym momencie wcisnęła przycisk zapisz w aplikacji wysyłając formularz do serwera. W ten sposób było generowane obciążenie. Był to sposób bardzo nieefektywny oraz mało opłacalny. Po pierwsze trzeba było znaleźć „armię” ludzi do testowania oraz posiadać dużo zasobów w postaci sprzętu podłączonego do serwera. Generowało to bardzo duże koszta. Następnym problemem była synchronizacja „armii” testerów, aby wysłali wszystko w jednym czasie, ponieważ chcieliśmy mieć oczywiście jednakowe obciążenie w danej chwili. Również pojawiały się inne problemy typu jak zbierać oraz agregować dane z testów, które były rozproszone oraz jak zrobić taki test, który byłby powtarzalny za każdym razem. Te problemy zostały zniwelowane poprzez pojawienie się specjalnych aplikacji dedykowanych do mierzenie wydajności. Do powszechnie używanych takich narzędzi możemy zaliczyć:

• Apache JMeter – jest jednym z najpowszechniejszych oraz popularnych narzędzi dedykowanych do wykonywania testów wydajnościowych, obciążeniowych oraz funkcjonalnych. Narzędzie to jest napisane w Javie. Jako zalety tego programu można zaliczyć to, że jest to darmowy produkt umożliwiający zainstalowanie dodatkowych pluginów. posiada przyjazne GUI (jednak przy testach wydajności wskazane jest puszczenie testów za pomocą komend z konsoli CMD), pozwala na odpalanie testów z wielu maszyn naraz, pozwala na szczegółowe gromadzenie oraz analizowanie statystyk, generowanie raportów. Do wad programu możemy zaliczyć dość spore wymagania sprzętowe do działania aplikacji (głównie zasoby pamięciowe) oraz GUI wraz Javą mają odzwierciedlenie na szybkość działania aplikacji co może zaburzać pomiary. JMeter głównie wykorzystywany może być do przesyłania zapytań GET, POST oraz otrzymywania przetwarzanych danych zapytań oraz odpowiedzi.
• Gatling – Jest to darmowe narzędzie do testów wydajnościowych opartych o licencję Apache, napisany w oparciu o język Scala. Posiada on asynchroniczną architekturę. Wprowadza model aktora zorientowanego na wysyłanie wiadomości zamiast tworzenia dedykowanych wątków (generuje to większe obciążenia). Obsługuje całkowicie protokoły JMS oraz HTTP.
• SoapUI – Jest to narzędzie przede wszystkim przeznaczone do automatyzacji testów dla web serwisów opartych o protokół SOAP. (Simple Object Access Protocol – jest protokołem sieciowym wykorzystującym XML do kodowania wywołań) Wspomaga ono testy funkcjonalne, obciążeniowe oraz bezpieczeństwa. Pozwala na testowanie aplikacji REST, JMS, AMF oraz JDBC.

Podział testów performance

Posiadając już odpowiednie narzędzie do przeprowadzania testów performance (W moim przypadku najczęściej jest to JMeter) , można zastanowić się nad tym jakie testy powinniśmy przeprowadzić oraz jakie dane będą nam potrzebne do przeprowadzenia analizy działania naszej aplikacji w warunkach wzmożonej aktywności. Zatem testy performance możemy podzielić na trzy główne grupy, którymi są:

• Testy wydajnościowe (ang. performance testing) – są to najczęściej prowadzone pod kątem badań biznesowych mających oszacować jakie są wymagania dla działania aplikacji, porównanie czasów wysyłanych oraz odbieranych requestów dla grupy użytkowników lub tego czy zostały spełnione wyznaczone dla działania aplikacji kryteria pod kątem wykonywania w akceptowalnym czasie.
• Testy przeciążeniowe (ang. stress testing) – w tym rodzaju testów najważniejszym aspektem jest zasymilowanie działających jednocześnie bardzo dużej liczby użytkowników przekraczający możliwości zasobów serwera a następnie badanie czy aplikacja zareagowała w odpowiedni i przewidywalny przez nas sposób. Również badane są oraz wyszukiwane defekty aplikacji powodujących utratę danych lub też wycieki pamięciowe.
• Testy obciążenia (ang. load testing) – ostatni rodzaj testów jest ukierunkowany na przesyłanie bardzo dużej liczby transakcji przez użytkowników działających w tym samym czasie. Taki stan powinien być utrzymywany przez pewien czas do czasu dokonania potrzebnych pomiarów. Testy dają nam odpowiedź, jak wiele zapytań jest w stanie obsłużyć system w danym przedziale czasu. Pomaga też w wyszukiwaniu wąskich gardeł aplikacji.

Jak widać każdy rodzaj przeprowadzonych powyżej testów ma na celu zbadanie innego aspektu działania aplikacji w warunkach wzmożonej aktywności. Daje nam to szczegółowe dane które pozwolą na ulepszenie jej pod kątem działania oraz dopasowanie odpowiednich zasobów.

Dalsze inne przykłady z życia ?

Tak jak było już wspominane, w życiu możemy się spotkać z wieloma aplikacjami łączącymi się np. z serwerami za pośrednictwem internetu, z których korzysta pewna liczba logujących się odbiorców, czy to w urzędach, czy to w firmach oraz przedsiębiorstwach, czy też w zwykłych witrynach internetowych. Zdarza się, że taka aplikacja lub strona działa bardzo dobrze w ograniczonym środowisku dla niedużej liczby odbiorców jednak pod wpływem wzmożonej aktywności zaczynają się dziać z nią różne ciekawe oraz niemiłe dla odbiorców rzeczy. Jako przykład podajmy firmę zajmującą się grami, która postanowiła wydać grę online o tematyce post-apokaliptycznej.
W pierwszych godzinach po ostatecznym wydaniu produkcji, serwery nie wytrzymały „inwencji twórczej” graczy, podczas której zostało zrzucone w grze kilka pocisków nuklearnych. Duża liczba napływających danych spowodowała przeciążenie oraz całkowite wyłączenie serwerów co skutkowało tym, że gra w którą grała bardzo duża liczba odbiorców została odłączona na kilka / kilkanaście godzin do czasu usunięcia awarii. Jak wiadomo gracze nie byli zadowoleni tym faktem, że po zakupie premierowej produkcji nie mogą w nią zagrać z powodu trudności zalogowania się.

Innym przykładem z życia może być aplikacja rządowa do zliczania głosów poprzez rządowy serwis internetowy. Przed wyborami aplikacja działała wyśmienicie zliczając poprawnie głosy zalogowanych użytkowników, lecz autorzy aplikacji nie spodziewali się, że może ona cieszyć się tak dużym zainteresowaniem podczas wyborów. Również w tym przypadku serwery nie wytrzymały przepływu danych.

Jak można zauważyć nasuwa się pewna analogia. W obu przypadkach zaniedbując testy performance obie firmy „strzeliły sobie w kolano” (podobnie jak już wymieniona wcześniej przykładowa firma x) narażając się na straty finansowe, a przede wszystkim wizerunkowe. Jak wiadomo pierwsze wrażenie jest najważniejsze, a niesmak po zaniedbaniach pozostaje na bardzo długie lata.

Podsumowując testy performance są istotnym elementem w kulturze testowania i powinny być one przeprowadzane w miarę systematycznie z rozwojem aplikacji. Dzięki nim możemy uzyskać potrzebne nam dane do oszacowania odpowiednich optymalnych zasobów do poprawnego działania aplikacji. Także testy te pomagają odszukać nam błędy spowodowane dużym natłokiem danych oraz tworzyć zabezpieczenia przed atakami z zewnątrz.