Entscheidungsbäume Machine Learning Klausurvorbereitung

Was ist ein Entscheidungsbaum?

Ein Entscheidungsbaum ist ein grafisches Modell, das Entscheidungen und deren mögliche Konsequenzen darstellt. Er wird in der Entscheidungsanalyse und im maschinellen Lernen verwendet.

Welche Struktur hat ein Entscheidungsbaum?

Ein Entscheidungsbaum besteht aus Knoten, Ästen und Blättern: - Knoten: Entscheidungspunkte - Äste: mögliche Entscheidungen - Blätter: Ergebnisse oder Vorhersagen

True or False: Entscheidungsbäume sind nicht interpretierbar.

False. Entscheidungsbäume sind sehr interpretierbar, da sie eine klare visuelle Struktur haben.

Nenne zwei Anwendungen von Entscheidungsbäumen.

- Klassifikation - Regression

Wie wird die Splittung eines Knotens bestimmt?

Die Splittung erfolgt basierend auf einer Metrik wie Entropie oder Gini-Index, um die Homogenität der Zielvariablen zu maximieren.

Was ist Overfitting bei Entscheidungsbäumen?

Overfitting tritt auf, wenn ein Modell die Trainingsdaten zu gut anpasst und dadurch schlechte Vorhersagen auf neuen Daten liefert.

Nenne eine Methode zur Vermeidung von Overfitting.

Pruning (Beschnitt) reduziert die Komplexität des Modells, indem weniger signifikante Äste entfernt werden.

Vergleiche Entropie und Gini-Index.

Entropie: Misst Unordnung, Gini-Index: Misst Wahrscheinlichkeit. Beide sind Metriken zur Bestimmung von Splits.

Was beschreibt der Gini-Index?

Der Gini-Index beschreibt die Wahrscheinlichkeit, dass zwei zufällig ausgewählte Elemente aus einer Menge verschiedenen Klassen angehören.

Fill in the blank: Ein Blatt im Entscheidungsbaum repräsentiert _________.

Ein Ergebnis oder eine Vorhersage.

Wie geht man mit fehlenden Werten um?

Fehlende Werte können durch Imputation, Ignorieren oder spezielle Splits behandelt werden.

Was ist eine binäre Entscheidung?

Eine binäre Entscheidung ist eine Wahl zwischen zwei möglichen Optionen, die häufig in Entscheidungsbäumen verwendet wird.

Nenne einen Vorteil von Entscheidungsbäumen.

Sie sind benutzerfreundlich und erfordern keine umfangreiche Datenvorverarbeitung.

Was sind Hyperparameter bei Entscheidungsbäumen?

Hyperparameter sind Parameter, die vor dem Training festgelegt werden, z.B. maximale Tiefe oder minimale Probenanzahl pro Blatt.

Wie viele Klassen kann ein Entscheidungsbaum klassifizieren?

Ein Entscheidungsbaum kann theoretisch beliebig viele Klassen klassifizieren, abhängig von den Daten und den Splits.

Was ist der Zweck von Entscheidungsbäumen in der Datenanalyse?

Sie helfen bei der Identifikation und Visualisierung von Entscheidungsprozessen und Mustern in den Daten.

Anwendungsfall Entscheidungsbaum

Klassifikation von Kreditrisiken: Vorhersage, ob ein Kunde einen Kredit zurückzahlen kann.

Vorteil von Entscheidungsbäumen?

Einfach zu interpretieren und zu visualisieren. - Intuitive Entscheidungsfindung. - Keine umfangreiche Datenvorverarbeitung notwendig.

Nachteile von Entscheidungsbäumen?

Überanpassung (Overfitting) möglich. - Sensibel gegenüber kleinen Datenänderungen.

Klassifikation vs. Regression?

Klassifikation: Diskrete Ausgaben. - Regression: Kontinuierliche Ausgaben.

Erstes Beispiel für Entscheidungsbaum?

Entscheidung über den Kauf eines Autos basierend auf Preis, Marke und Kilometerstand.

True or False: Entscheidungsbäume sind immer die beste Wahl.

False. - Sie sind nicht immer die genauesten Modelle, besonders bei komplexen Daten.

Vorhersage Risiko eines Ausfalls?

Entscheidungsbäume können verwendet werden, um das Ausfallrisiko von Krediten zu bewerten.

Vor- und Nachteile vergleichen?

Vorteile: Einfachheit, Interpretierbarkeit. - Nachteile: Überanpassung, Instabilität.

Fill in the blank: Entscheidungsbäume sind besonders nützlich für _____ .

Daten mit klaren Entscheidungswegen und Merkmalswerten.

Einsatzgebiet im Gesundheitswesen?

Diagnose von Krankheiten basierend auf Symptomen und Patientendaten.

Was sind die Hauptmerkmale von Entscheidungsbäumen?

Einfache Interpretierbarkeit, geringe Datenvorverarbeitung, kann sowohl Klassifikations- als auch Regressionsprobleme lösen.

Wie wird die Aufteilung eines Knotens entschieden?

Durch Berechnung der Informationsgewinne oder der Gini-Impurität für jede mögliche Aufteilung.

Gini-Impurität vs. Informationsgewinn?

Gini: Maß für die Reinheit eines Knotens. Informationsgewinn: Reduktion der Entropie nach einer Aufteilung.

Fülle die Lücke: Der Algorithmus von CART verwendet _____ zur Bestimmung der besten Aufteilung.

die Gini-Impurität oder die mittlere quadratische Abweichung.

Stimmt es, dass Entscheidungsbäume überfitting-anfällig sind?

Ja, insbesondere ohne Pruning. Sie können zu komplex werden und die Trainingsdaten zu gut lernen.

Was ist Pruning und warum ist es wichtig?

Pruning reduziert die Größe des Baumes, um Überanpassung zu vermeiden und die Generalisierbarkeit zu erhöhen.

Wann wird eine Knotenaufteilung gestoppt?

Wenn der Knoten rein ist, eine minimale Anzahl an Proben erreicht ist oder eine maximale Baumtiefe erreicht wird.

Was sind Vorteile von Entscheidungsbäumen?

Einfache Visualisierung, keine Notwendigkeit für Daten-Normalisierung, kann mit fehlenden Werten umgehen.

Wie wird das Modell bewertet?

Durch Kreuzvalidierung, Genauigkeit, F1-Score und andere Metriken zur Leistungsbewertung.

Was ist der Unterschied zwischen Klassifikation und Regression in Entscheidungsbäumen?

Klassifikation: Vorhersage kategorischer Werte; Regression: Vorhersage kontinuierlicher Werte.

Was beinhaltet der Algorithmus ID3?

Er verwendet den Informationsgewinn zur Auswahl der besten Attribute für die Aufteilung der Knoten.

Gibt es eine spezifische Formel für den Informationsgewinn?

Ja, $\displaystyle IG(T, A) = H(T) - \frac{|T_v|}{|T|} H(T_v)$, wobei $\displaystyle H$ die Entropie ist.