Beslisbomen en random forests

Beslisboom

Een hiërarchische structuur die beslissingen modelleert door splitsingen op basis van kenmerken.

Hoe werkt een splitsing?

Een splitsing verdeelt de dataset op basis van een kenmerk, leidt tot homogene groepen.

Wat zijn knopen?

De punten in de beslisboom waar beslissingen of splitsingen plaatsvinden.

Wat is overfitting?

Wanneer de beslisboom te complex wordt en goed presteert op training, maar slecht op nieuwe data.

Diepte van de boom

Het aantal niveaus in de beslisboom; meer diepte kan leiden tot overfitting.

Wat zijn bladen?

De uiteindelijke knopen van de beslisboom die een eindbeslissing of output geven.

Wat is een criterium?

De maatstaf die gebruikt wordt om splitsingen in de boom te evalueren, zoals gini-index of entropie.

Wat is pruning?

Het proces van het verwijderen van takken van de beslisboom om overfitting te verminderen.

Kenmerkselectie → resultaat

Selectie van relevante kenmerken verbetert de prestaties en eenvoud van de boom.

Wat is een decision tree algorithm?

Een algoritme dat gebruikt wordt om beslisbomen te construeren, zoals ID3 of C4.5.

True of False: Beslisbomen vereisen normalisatie van data.

False; beslisbomen zijn niet gevoelig voor de schaal van kenmerken.

Wat zijn variabelen?

De eigenschappen of kenmerken die gebruikt worden om splitsingen te maken in de beslisboom.

Visualisatie van beslisbomen

Beslisbomen kunnen visueel worden weergegeven, wat helpt bij het begrijpen van hun structuur en beslissingen.

Wat is de rol van de wortelknop?

De eerste knoop in de beslisboom die de initiële splitsing van de data bepaalt.

Verschil tussen classificatie en regressie

Classificatie voorspelt categorieën, regressie voorspelt continue waarden.

Voorbeeld van een beslisboom

Een boom die bepaalt of een klant een lening krijgt op basis van inkomen en kredietgeschiedenis.

Wat is een random forest?

Een ensemble methode die meerdere beslisbomen combineert om voorspellingen te verbeteren.

Voordeel van random forests boven enkele beslisbomen?

Minder overfitting, beter generalisatie, robuust tegen ruis in data.

Hoe worden beslisbomen in een random forest getraind?

Met behulp van bootstrap aggregating (bagging), waarbij willekeurige subsets van data worden gebruikt.

Wat is bagging?

Een techniek waarbij meerdere modellen onafhankelijk worden getraind op verschillende data subsets.

True or False: Random forests gebruiken altijd alle beschikbare features.

False: Tijdens training worden slechts een subset van features gebruikt per beslisboom.

Wat is de rol van de gemiddelde voorspelling in random forests?

Het gemiddelde van de voorspellingen van alle beslisbomen wordt genomen voor de uiteindelijke uitkomst.

Vul in: Random forests verbeteren _________ door variabiliteit te verminderen.

de nauwkeurigheid

Wat is feature randomisatie?

Een techniek waarbij bij elke splitsing van een beslisboom slechts een subset van features wordt overwogen.

Hoe draagt diversiteit bij aan random forests?

Het zorgt ervoor dat verschillende bomen verschillende fouten maken, wat de algehele precisie verhoogt.

Wat is de OOB-fout?

De out-of-bag fout is de foutschatting gemaakt met waarnemingen die niet zijn gebruikt in de training van een specifieke boom.

True or False: Random forests kunnen enkel voor classificatieproblemen worden gebruikt.

False: Ze kunnen ook voor regressieproblemen worden gebruikt.

Wat is de belangrijkste reden voor het gebruik van ensemble methoden?

Ze combineren verschillende modellen om een robuustere en nauwkeurigere voorspelling te verkrijgen.

Wat zijn de hyperparameters van random forests?

- Aantal bomen - Maximale diepte - Minimum aantal samples per split

Voorbeeld van toepassing van random forests?

Voorspellen van klantgedrag in marketingcampagnes door gebruik te maken van historische data.

Wat is de impact van het aantal bomen in een random forest?

Meer bomen leiden vaak tot betere prestaties, maar met afnemende meerwaarde na een bepaald punt.

Vul in: Random forests zijn minder gevoelig voor _________ dan enkele beslisbomen.

overfitting

Wat is de betekenis van 'ensemble' in ensemble methoden?

Een groep van verschillende modellen die gezamenlijk een beslissing nemen.

Hoe helpt random forests bij het omgaan met ontbrekende waarden?

Door het gebruik van alle beschikbare data en de robuustheid van meerdere bomen.

Wat kan je zeggen over de interpretatie van random forests?

Minder interpreteerbaar dan enkele beslisbomen, maar tools zoals feature importance kunnen inzicht geven.

Wat zijn ensemble methoden?

Ensemble methoden combineren meerdere modellen om de nauwkeurigheid te verbeteren. Bijvoorbeeld: - Verminderen van overfitting - Verhogen van generalisatie - Gebruik van meerdere algoritmes of modellen.

Wat is k-fold cross-validatie?

Een techniek voor modelevaluatie waarbij de dataset in k subsets wordt verdeeld. Het model wordt k keer getraind en getest, elk keer met een andere subset als testdata.

Wat meet de nauwkeurigheid van een model?

De verhouding van het aantal correcte voorspellingen ten opzichte van het totaal aantal voorspellingen. - Formule: $\displaystyle ext{nauwkeurigheid} = \frac{ ext{aantal correcte voorspellingen}}{ ext{totaal aantal voorspellingen}}$

Hoe wordt de onzuiverheid van een beslisboom gemeten?

Met behulp van maatstaven zoals Gini-index of entropie. Deze maten geven aan hoe vaak een willekeurige gekozen element verkeerd geclassificeerd zou worden.

Wat is de ROC-curve?

Een grafiek die de prestaties van een classificatiemodel toont door de ware positieve snelheid tegen de valse positieve snelheid uit te zetten.

Wat beoordeelt de AUC?

De Area Under the Curve (AUC) beoordeelt de algehele prestaties van een classificatiemodel. Hoe dichter de AUC bij 1 ligt, hoe beter het model.

Waarvoor wordt een confusion matrix gebruikt?

Een tabel die de prestaties van een classificatiemodel samenvat door de werkelijke waarden en voorspellingen te vergelijken. Het toont waar de classificatiefouten optreden.

Wat zijn toepassingen van beslisbomen?

Toepassingen zijn onder andere: - Medische diagnoses - Kredietrisico-analyse - Klantsegmentatie

Vul in: Een hoge Gini-index betekent dat...

...de dataset meer onzuiver is en dat het moeilijker is om correcte classificaties te maken.

Wat is het voordeel van random forests?

Ze verminderen overfitting door meerdere beslisbomen te combineren en de voorspellingen te middelen, wat leidt tot betere generalisatie op nieuwe data.

Wat is feature importance?

Een maat voor de bijdrage van elke feature aan de voorspelling van het model. Dit helpt bij het selecteren van relevante variabelen.

Wat zijn de voordelen van bootstrapping?

Het stelt random forests in staat om meerdere datasets te creëren door willekeurige steekproeven met vervangingen te nemen. Dit verbetert de robuustheid van het model.

Wat is een belangrijke evaluatieparameter voor classificatiemodellen?

F1-score: een maat die de balans tussen precisie en recall weerspiegelt. Het is nuttig bij ongebalanceerde datasets.

Wat is een praktische toepassing van random forests?

Voorspelling van klantgedrag in marketing, bijvoorbeeld om te bepalen welke klanten waarschijnlijk zullen kopen op basis van eerdere aankopen.

Wat is het verschil tussen recall en precisie?

Recall meet het percentage relevante instances die correct zijn voorspeld, terwijl precisie meet hoe veel van de voorspellingen daadwerkelijk relevant zijn.

Vul in: Bij overfitting presteert een model...

...uitstekend op trainingsdata maar slecht op ongeziene data, omdat het te veel details heeft geleerd.

Wat wordt bedoeld met out-of-bag (OOB) fout?

Een schatting van de generalisatiefout van een random forest, berekend met gegevens die niet zijn gebruikt voor de training van de betreffende boom.

Wat toont de liftcurve aan?

De liftcurve toont de effectiviteit van een voorspellend model aan. Hoe hoger de curve, hoe beter het model presteert vergeleken met willekeurige voorspellingen.

Wat is een mogelijke valkuil van beslisbomen?

Beslisbomen kunnen gevoelig zijn voor kleine variaties in de data, wat kan leiden tot grote veranderingen in de structuur van de boom.

Wat is hyperparameter tuning?

Het proces van het optimaliseren van de hyperparameters van een model om de prestaties te verbeteren, vaak gedaan door technieken zoals grid search of random search.

Wat zijn de belangrijkste evaluatiemethoden voor random forests?

- K-fold cross-validatie - Ongeteste dataverdeling - AUC-ROC-curves Deze methoden helpen bij het beoordelen van de prestaties en generaliseerbaarheid van het model op onbekende data.

Wat is pruning?

Pruning is het proces van het verwijderen van takken van een beslisboom. Dit vermindert overfitting en verbetert de generalisatie bij nieuwe data.

Wat zijn hyperparameters?

Hyperparameters zijn instellingen die voor de training van een model worden vastgesteld. Voorbeelden zijn: maximaal aantal diepte van de boom, aantal bladeren.

True or False: Overfitting is altijd goed.

False. Overfitting leidt tot slechte prestaties op nieuwe data omdat het model te specifiek is voor de trainingsdata.

Hoe kan je de diepte van een boom optimaliseren?

Door gebruik te maken van cross-validatie om de diepte te kiezen die de beste prestaties levert op validatiedata.

Wat is het effect van meer bomen in een random forest?

Meer bomen verminderen de variantie en verbeteren de stabiliteit van de voorspellingen, maar verhogen de rekentijd.

Vul de lege ruimte in: 'Random forests gebruiken _______ subsets van de training data.'

bootstrap

Wat is feature selectie?

Feature selectie is het proces van het kiezen van een subset van relevante features voor gebruik in modeltraining. Dit kan de prestaties verbeteren en de interpretatie vergemakkelijken.

Wat zijn ensembles?

Ensembles zijn combinaties van meerdere modellen die samen betere prestaties leveren dan individuele modellen. Random forests zijn een voorbeeld van een ensemble techniek.

True or False: Diepere bomen zijn altijd beter.

False. Diepere bomen kunnen leiden tot overfitting, wat de prestaties op nieuwe data kan verminderen.

Welke techniek vermindert overfitting door training data te splitsen?

Cross-validatie. Dit helpt om de effectiviteit van het model op verschillende subsets van data te evalueren.

Wat is bagging?

Bagging (Bootstrap Aggregating) is een techniek die meerdere modellen traint op verschillende subsets van data en de resultaten combineert voor een robuuster model.

Hoe beïnvloedt het aantal features de prestaties van een beslisboom?

Te veel features kunnen leiden tot complexiteit en overfitting, terwijl te weinig features belangrijke patronen kunnen verbergen.

Wat is de rol van 'max features' in random forests?

Het aantal features dat wordt overwogen bij het splitsen van een knoop. Dit helpt diversiteit tussen de bomen te creëren.

Wat is de 'Gini index'?

De Gini index is een maat voor de impuriteit van een dataset. Een lagere Gini index duidt op een betere splitsing en meer homogene groepen.

Voorbeeld van een optimalisatietechniek: _______ van hyperparameters.

Grid search

Wat is early stopping?

Early stopping is een techniek waarbij het trainen van een model wordt gestopt wanneer de prestaties op een validatieset niet meer verbeteren.