evalueringsmetrikker ML

Hva er nøyaktighet?

Nøyaktighet er andelen korrekt klassifiserte eksempler. Formelen er $\displaystyle Accuracy = \frac{TP + TN}{TP + TN + FP + FN}$.

Definer presisjon.

Presisjon er andelen av positive prediksjoner som er korrekte: $\displaystyle Precision = \frac{TP}{TP + FP}$.

Hva er tilbakekalling?

Tilbakekalling er andelen faktiske positive tilfeller som er korrekt identifisert: $\displaystyle Recall = \frac{TP}{TP + FN}$.

Sann positiv rate vs. falsk positiv rate.

Sann positiv rate: $\displaystyle TPR = Recall$. Falsk positiv rate: $\displaystyle FPR = \frac{FP}{FP + TN}$.

Hva er F1-score?

F1-score er det harmoniske gjennomsnittet av presisjon og tilbakekalling: $\displaystyle F1 = 2 \cdot \frac{Precision \cdot Recall}{Precision + Recall}$.

Definer spesifisitet.

Spesifisitet er andelen negative tilfeller som er korrekt identifisert: $\displaystyle Specificity = \frac{TN}{TN + FP}$.

Hva er ROC-kurve?

ROC-kurve viser forholdet mellom FPR og TPR ved ulike terskeler. Den brukes til å vurdere klassifiseringsmodellers ytelse.

Forklar AUC.

AUC (Area Under Curve) representerer sannsynligheten for at en tilfeldig positiv klasse vil ha en høyere sannsynlighet enn en tilfeldig negativ klasse.

Når brukes konfusjonsmatrise?

Konfusjonsmatrise brukes for å oppsummere ytelsen til en klassifiseringsmodell med hensyn til sanne og falske klassifiseringer.

Definer ulikhet

Ulikhet måler hvor godt en modell skiller mellom klasser. Høy ulikhet indikerer bedre klassifisering.

Hva er Kappa-statistikk?

Kappa-statistikk måler avtalen mellom observerte og forutsagte klassifiseringer, justert for tilfeldigheter: $\displaystyle Kappa = \frac{P_o - P_e}{1 - P_e}$.

Sann negativ rate.

Sann negativ rate er andelen negative tilfeller som er korrekt identifisert: $\displaystyle Specificity = \frac{TN}{TN + FP}$.

Hva er kostnadsfunksjon?

Kostnadsfunksjonen evaluerer forskjellen mellom prediksjoner og faktiske resultater. Vanlige kostnadsfunksjoner inkluderer MSE og log-tap.

Forklar presisjon-recall-kurven.

Presisjon-recall-kurven viser forholdet mellom presisjon og tilbakekalling ved forskjellige terskler, nyttig for ubalanserte datasett.

Hva er validitet?

Validitet refererer til hvor godt en metrikk måler det den er ment å måle, som kan påvirke evalueringen av modellens ytelse.

Fyll inn: Nøyaktighet = ____ + ____ / ____ + ____ + ____ + ____.

Nøyaktighet = TP + TN / TP + TN + FP + FN.

Hva er nøyaktighet (accuracy)?

Nøyaktighet er andelen korrekt klassifiserte eksempler. Formelen er: $\displaystyle Accuracy = \frac{TP + TN}{TP + TN + FP + FN}$.

Definer presisjon (precision).

Presisjon er andelen sanne positive blant alle positive prediksjoner: $\displaystyle Precision = \frac{TP}{TP + FP}$.

Hva brukes tilbakekalling (recall) til?

Tilbakekalling måler hvor mange sanne positive som ble identifisert: $\displaystyle Recall = \frac{TP}{TP + FN}$.

Sann positiv (TP) er...

...et korrekt identifisert positivt tilfelle.

Hvordan er F1-score relatert til presisjon og tilbakekalling?

F1-score er det harmoniske gjennomsnittet av presisjon og tilbakekalling: $\displaystyle F1 = 2 \cdot \frac{Precision \cdot Recall}{Precision + Recall}$.

Hva er spesifisitet (specificity)?

Spesifisitet er andelen sanne negative blant alle faktiske negative tilfeller: $\displaystyle Specificity = \frac{TN}{TN + FP}$.

True or False: Høy nøyaktighet garanterer alltid god modellprestasjon.

False. Høy nøyaktighet kan være misvisende i ubalanserte datasett.

Definer falsk positiv (FP).

Falsk positiv er et tilfelle der modellen feilaktig klassifiserte et negativt tilfelle som positivt.

Fill in the blank: AUC står for _____.

AUC står for Area Under the Curve.

Hva er ROC-kurve?

ROC-kurve plottet viser forholdet mellom tilbakekalling (TPR) og falsk positiv rate (FPR).

Sammenlign presisjon og tilbakekalling.

- Presisjon fokuserer på positive prediksjoner. - Tilbakekalling fokuserer på faktiske positive.

Hva er en konfusjonsmatrise?

En konfusjonsmatrise oppsummerer ytelsen til en klassifiseringsmodell med TP, TN, FP, FN.

Hva er MSE?

MSE står for Mean Squared Error. Det er gjennomsnittet av de kvadrerte forskjellene mellom faktiske og predikerte verdier.

Fyll inn: RMSE = √_____

RMSE = √MSE. Det gir en forståelse av feil i samme enhet som målvariabelen.

Hva er R²?

R², eller forklaringsgraden, måler hvor mye av variansen i den avhengige variabelen som forklares av den uavhengige variabelen.

Sammenlign MSE og RMSE.

MSE gir større vekt til store feil. RMSE er i samme enhet som målvariabelen, noe som gjør det lettere å tolke.

Er MAE mindre sensitiv for uteliggere enn MSE?

Ja, MAE (Mean Absolute Error) er mindre sensitiv for uteliggere fordi den bruker absolutte feil i stedet for kvadrerte feil.

Hva sier en høy R²-verdi?

En høy R²-verdi indikerer at modellen forklarer en stor del av variansen i dataene.

Forklar hva som menes med residualer.

Residualer er forskjellen mellom faktiske og predikerte verdier. De brukes til å evaluere modellens ytelse.

Hvordan påvirker uteliggere MSE?

Uteliggere vil øke MSE betydelig, da kvadreringen av feilene forsterker effekten av store avvik.

Hva er formelen for MAE?

MAE = $\displaystyle \frac{1}{n} imes ext{sum}(|y_i - ilde{y}_i|)$, hvor $\displaystyle y_i$ er faktiske verdier og $\displaystyle ilde{y}_i$ er predikerte verdier.

Er en lav MAE alltid bedre?

Ikke nødvendigvis, MAE må tolkes i sammenheng med problemstillingen og datakvaliteten.

Hva er formålet med å bruke evalueringsmetrikker?

Evalueringsmetrikker hjelper til med å vurdere modellens ytelse og tilpasse den for mer nøyaktige prediksjoner.

Gi et eksempel på hvordan R² beregnes.

R² = 1 - $\displaystyle \frac{SS_{res}}{SS_{tot}}$, hvor $\displaystyle SS_{res}$ er residual sum of squares og $\displaystyle SS_{tot}$ er total sum of squares.

Hva er kryssvalidering?

En metode for å vurdere modellens generaliseringsevne. Den deler dataene i trenings- og testsett flere ganger.

True eller False: Høyere presisjon betyr alltid bedre modell.

False. Høy presisjon kan ignorere omfanget av relevante prediksjoner. Balanse mellom metrikker er viktig.

Hvordan velger man hyperparametre?

Bruk grid search eller tilfeldig søk. Evaluer med kryssvalidering for best resultat.

Fyll inn blank: F1-score er balansen mellom _____ og _____ .

presisjon og recall.

Sammenlign nytte av MSE og MAE.

MSE straffer store feil mer, mens MAE gir jevnere vurdering. Velg basert på problemets krav.

Hva er formelen for R²?

R² = 1 - \frac{SS_{res}}{SS_{tot}}, der SS er summen av kvadrater.

Når bruker man ROC-kurver?

For å evaluere klassifiseringsmodeller og sammenligne ytelsen ved ulike terskler.

Hva er formålet med tidlig stopp?

For å forhindre overtilpasning ved å stoppe treningen når ytelsen på valideringsdata begynner å synke.

Hvordan påvirker datastørrelse modellvalget?

Større datasett muliggjør mer komplekse modeller og bedre generalisering.

Hva er en fordel med ensemblemetoder?

De kombinerer flere modeller for å forbedre nøyaktighet og redusere varians.