Pytania: Overfitting

Overfitting

Zjawisko, w którym model uczy się zbyt dobrze szczegółów treningowych, przez co traci zdolność do generalizacji na nowe dane.

Podstawowe przyczyny overfittingu

Zbyt złożony model, za mała ilość danych, hałas w danych, zbyt długie uczenie.

Generalizacja

Zdolność modelu do poprawnego przewidywania wyników na niewidzianych wcześniej danych.

Złożoność modelu

Stopień, w jakim model jest skomplikowany — im bardziej złożony, tym większe ryzyko overfittingu.

Przykład overfittingu

Model, który wygenerował krzywą idealnie dopasowaną do danych treningowych, ale ma błędy na danych testowych.

Podział danych

Zwykle dzielimy dane na zestaw treningowy, walidacyjny i testowy, aby ocenić generalizację modelu.

Metody zapobiegania overfittingowi

Regularizacja, wczesne zatrzymanie, uproszczenie modelu, użycie większej ilości danych.

Regularizacja L1

Metoda, która dodaje do funkcji kosztu sumę wartości bezwzględnych wag, co może prowadzić do sparsity.

Regularizacja L2

Metoda, która dodaje do funkcji kosztu sumę kwadratów wag, co ogranicza ich wielkości i zapobiega overfittingowi.

Wczesne zatrzymanie (early stopping)

Technika, w której szkolenie modelu przerywa się, gdy wydajność na zestawie walidacyjnym przestaje się poprawiać.

Ensemble learning

Technika łączenia kilku modeli, aby poprawić jakość predykcji i zmniejszyć ryzyko overfittingu.

Dropout

Metoda regularizacji w sieciach neuronowych polegająca na losowym wyłączaniu neuronów podczas treningu.

Cross-validation

Technika, która polega na podziale danych na k zestawów, aby lepiej ocenić wydajność modelu.

Bias-Variance Tradeoff

Związek między błędem biasu a wariancji, gdzie overfitting jest związany z wysoką wariancją.

Jaki model jest narażony na overfitting?

Model z zbyt dużą liczbą parametrów w stosunku do dostępnych danych.

Jakie są objawy overfittingu?

Wysoka dokładność na danych treningowych, ale niska na danych testowych.

Kiedy stosować regularizację?

Gdy model osiąga wysoką dokładność na danych treningowych, ale niską na walidacyjnych.

Jak zmniejszyć ryzyko overfittingu w klasyfikacji obrazów?

Zastosować augmentację danych oraz techniki regularizacji, np. dropout.

Które z poniższych NIE jest metodą regularizacji?

Zwiększanie liczby epok.

Jakie są zalety wczesnego zatrzymania?

Zmniejsza ryzyko overfittingu i skraca czas treningu modelu.

Czy overfitting może być korzystny?

Zazwyczaj nie, ponieważ prowadzi do słabszej wydajności na nowych danych.

Jakie techniki mogą pomóc w ograniczeniu wpływu overfittingu?

- Regularizacja - Dropout - Wczesne zatrzymanie - Cross-validation

Co to jest bias w kontekście overfittingu?

Błąd systematyczny modelu, który może być zbyt duży, gdy model jest zbyt prosty.

Jakie są konsekwencje overfittingu?

Model traci zdolność do generalizacji, co prowadzi do błędów w predykcjach.

Jakie dane są najlepsze do trenowania modelu?

Dane o wysokiej jakości, reprezentatywne dla problemu i w wystarczającej ilości.

Jakie jest znaczenie walidacji krzyżowej?

Pomaga ocenić, jak dobrze model generalizuje na nowych danych.