Články

Chyba bývá většinou v měřicím přístroji

Nejdražší lekce posledních měsíců je zároveň ta nejméně okázalá. Když měření vykáže podivné číslo, chyba je častěji v tom, čím měříme, než v tom, co měříme. Následuje přehled takových případů. Každá položka je skutečná událost, která nás stála hodiny hledání na špatném místě.

Jak nás zmátly naše vlastní nástroje

Nástroj kopíruje produkt. Kontrolní skript poskládaný ze stejných částí jako kontrolovaný kód nepotvrzuje správnost, ale shodu: je slepý k naprosto stejným chybám. Řešením je měřit jinou cestou, pomocí jiného mechanismu, nebo prostým čtením.

Nástroj čte jen první shodu. Jeden skript vzal první vyhovující položku a nahlásil "jednu shodu" tam, kde jich bylo pět. Nula nebo jednička z takového nástroje nic neznamená, dokud se neprokáže, že nástroj čte až do konce.

Pojistka je slepá už ze své podstaty. Jedna z našich kontrol hledala v souborech převzaté formulace, ale vytahovala jen text v uvozovkách. Převzatý úryvek v závorkách pro ni byl neviditelný. Zelená kontrolka dokazuje jen nepřítomnost té skupiny problémů, kterou umí vidět, a nic víc.

Prázdné vyhledávání neznamená čistý výsledek. Žádný výstup znamená "nenalezeno" a "nenalezeno" může stejně dobře vzniknout překlepem v dotazu. Negativní výsledek bereme jako platný až poté, co stejný dotaz najde něco, o čem víme, že tam skutečně je.

Zelená před kontrolou není zelená. Zpráva "opraveno" napsaná předtím, než nástroj vůbec doběhl, je výpovědí o záměru, ne o stavu. My hlásíme stav.

Náš vlastní limit se tváří jako cizí chyba. Omezení počtu požadavků na naší straně se v jednom měření projevilo jako výpadek externí služby. Než začnete vinit měřenou věc, zkontrolujte, jestli přístroj nenarazil na svůj vlastní strop.

Co zafungovalo

Brát jednotku přímo z kódu. Nástroj si musí brát měrnou jednotku z měřeného kódu, místo aby si vymýšlel vlastní, která se mu hodí. Když jsme měřili, jak daleko se kontrola dostane ve větě, dílčí pokusy běží přes stejný mechanismus, jaký používá samotný produkt. Proto se výsledným číslům dalo věřit: cesta byla skutečnou cestou produktu, ne jen jejím náčrtem.

Jedna změna na jedno měření. Mezi dvěma měřeními se mění přesně jedna věc. Varianty se číslují, každá se od předchozí liší jedinou úpravou a ponechá se jen vítěz. Jinak nelze říct, která úprava přinesla užitek a která jen náklady.

Usvedčený nástroj stahuje svá čísla. Když se ukáže, že měřicí přístroj byl rozbitý, každé číslo, které vyprodukoval, se veřejně stahuje - včetně těch, která se nám hodila. Není to sebemrskačství; je to jediný způsob, jak udržet záznamy použitelné.

Co zůstává otevřené

Nemáme žádný automatický krok, který by kontroloval samotné přístroje - takový, který by vyžadoval "tento nástroj musel najít něco, o čem víme, že existuje, než uvěříme jeho nule". Vše stojí na disciplíně toho, kdo testy spouští, což znamená, že za únavného večera se tento krok přeskočí. Jak ho zabudovat do každého běhu, aniž by se zdvojnásobily náklady na testování, zůstává otevřenou otázkou.

Stojí za to zmínit ještě jedno související omezení: přístroj vždy měří stav, ze kterého byl spuštěn, ne stav, který jste měli na mysli. Měření provedené na pracovní kopii neříká nic o publikované verzi a zelený výsledek nad zastaralými daty je výpovědí o včerejšku.

Všechny články

Procvičování zdarma pro každé pravidlo

Ke každému gramatickému pravidlu na webu je připojen trenažér. Je zdarma a nevyžaduje registraci.

Nahlásit problém

Stránka, na které se nacházíte
/cs/science/papers/measure-02-instrument.html cs

Angličtina je pro nás nejjednodušší, ale napište v jakémkoli jazyce, který preferujete.

Hlášení obsahuje pouze vaše slova, adresu stránky a jazyk. Žádný snímek obrazovky, žádné záznamy, žádný účet. Na hlášení nemůžeme odpovídat, takže pokud potřebujete odpověď, napište na [email protected]