Artykuły
Wada leży zazwyczaj w przyrządzie
Najbardziej kosztowna lekcja ostatnich miesięcy jest też najmniej efektowna. Kiedy pomiar daje dziwny wynik, wina częściej leży po stronie narzędzia pomiarowego niż tego, co jest mierzone. Poniżej znajduje się katalog takich przypadków. Każdy z nich wydarzył się naprawdę i kosztował nas godziny szukania w złym miejscu.
Jak nasze własne narzędzia wprowadzały nas w błąd
Narzędzie powtarza produkt. Skrypt sprawdzający, złożony z tych samych elementów co sprawdzany kod, nie potwierdza poprawności, lecz identyczność: jest ślepy na dokładnie te same błędy. Rozwiązaniem jest pomiar inną drogą, za pomocą innego mechanizmu albo przez czytanie.
Narzędzie czyta tylko pierwsze dopasowanie. Jeden ze skryptów pobierał pierwszy pasujący element i zgłaszał "jedno dopasowanie" tam, gdzie było ich pięć. Zero lub jedynka z takiego narzędzia nic nie znaczą, dopóki nie wykaże się, że czyta ono dane do końca.
Bezpiecznik jest ślepy z założenia. Jeden z naszych mechanizmów kontrolnych sprawdzał pliki pod kątem zapożyczonych sformułowań, ale wyciągał tylko tekst w cudzysłowie. Zapożyczony fragment ujęty w nawiasy był dla niego niewidoczny. Zielone światło od bezpiecznika dowodzi braku tylko tej klasy problemów, które potrafi on dostrzec, i niczego więcej.
Puste wyszukiwanie nie oznacza czystego wyniku. Brak danych na wyjściu oznacza "nie znaleziono", a "nie znaleziono" może równie dobrze wynikać z literówki w zapytaniu. Wynik negatywny uznajemy dopiero wtedy, gdy to samo zapytanie znajdzie coś, o czym wiemy, że tam jest.
Zielone przed sprawdzeniem to nie zielone. Raport "naprawiono" napisany przed uruchomieniem narzędzia to oświadczenie o zamiarze, a nie o stanie faktycznym. My raportujemy stan.
Nasz własny limit wygląda jak cudza usterka. Ograniczenie liczby zapytań po naszej stronie w jednym z pomiarów wyglądało jak awaria zewnętrznej usługi. Zanim obwini się mierzony obiekt, warto sprawdzić, czy przyrząd nie uderzył we własny sufit.
Co zadziałało
Jednostkę miary bierz z kodu. Narzędzie musi przejmować jednostkę miary z mierzonego kodu, zamiast wymyślać sobie wygodną. Kiedy mierzyliśmy, jak daleko w głąb zdania dociera mechanizm sprawdzający, częściowe próby były uruchamiane przez ten sam mechanizm, którego używa produkt. Właśnie dlatego uzyskanym liczbom można było zaufać: ścieżka była ścieżką produktu, a nie jej szkicem.
Jedna zmiana na pomiar. Między dwoma pomiarami zmienia się dokładnie jedna rzecz. Warianty są numerowane, każdy różni się od poprzedniego jedną poprawką, a zostaje tylko zwycięzca. W przeciwnym razie nie da się określić, która zmiana dała efekt, a która wygenerowała koszt.
Błędne narzędzie wycofuje swoje wyniki. Kiedy okazuje się, że przyrząd był zepsuty, każda wygenerowana przez niego liczba jest publicznie wycofywana, wliczając w to te wygodne. To nie jest samobiczowanie; to jedyny sposób, by dokumentacja pozostała użyteczna.
Co pozostaje otwarte
Nie mamy automatycznego kroku, który sprawdzałby same przyrządy - takiego, który wymagałby dowodu, że "to narzędzie znalazło coś, co na pewno istnieje, zanim uwierzono w jego zero". Opiera się to na dyscyplinie osoby uruchamiającej testy, co oznacza, że w zmęczony wieczór ten krok zostanie pominięty. Jak wbudować go w każde uruchomienie bez podwajania kosztu testów - to pozostaje pytaniem otwartym.
Warto nazwać jeszcze jedno powiązane ograniczenie: przyrząd zawsze mierzy stan, z którego został wywołany, a nie stan, który miało się na myśli. Pomiar wykonany na kopii roboczej nie mówi nic o wersji opublikowanej, a zielony wynik na nieaktualnych danych to informacja o dniu wczorajszym.
Wszystkie artykuły
Bezpłatne ćwiczenia do każdej reguły
Każdej regule gramatycznej na stronie towarzyszy zestaw ćwiczeń. Jest bezpłatny i nie wymaga rejestracji.