Definicja
Walidacja modelu jest procesem oceny, czy model jest wiarygodny, wystarczająco dokładny i odpowiedni do planowanego zastosowania, w tym jak działa na właściwych danych niewykorzystanych podczas treningu.
Proste wyjaśnienie
Sprawdza, czy model nauczył się zależności przydatnych również poza przykładami uczącymi, zamiast jedynie zapamiętać te przykłady.
Dlaczego to ważne
Model powinien działać wystarczająco dobrze w rzeczywistych warunkach, a nie tylko podczas tworzenia.
Granice pojęcia
Wysoka skuteczność na danych uczących nie potwierdza jakości modelu. Walidacja musi uwzględniać planowaną populację, decyzję, koszty błędów, warunki działania i istotne ryzyka; jeden wskaźnik rzadko jest wystarczający.
Perspektywa praktyczna
Walidacja może ujawnić przeuczenie, niedouczenie, słabą kalibrację, niestabilność oraz różnice skuteczności między istotnymi grupami. Powinna być kontynuowana po wdrożeniu, ponieważ dane i warunki działania mogą się zmieniać.