Backpropagation neuronale Netze Prüfungsfragen
Eine Sammlung von Prüfungsfragen zum Thema Backpropagation in neuronalen Netzen, die Studierenden hilft, sich auf Klausuren und Prüfungen vorzubereiten.
Quiz(64 vragen)
1. Was beschreibt der Begriff 'Backpropagation' in neuronalen Netzen?
Termen in deze set(64)
Grundlagen der Backpropagation(16)
Was ist Backpropagation?
Ein Verfahren zur Anpassung der Gewichte in neuronalen Netzen durch Rückpropagierung des Fehlers aus dem Ausgang.
Nenne die Hauptkomponenten eines neuronalen Netzes.
- Neuronen - Schichten (Input, Hidden, Output) - Gewichte - Aktivierungsfunktionen
Wahr oder Falsch: Backpropagation benötigt keine Ableitungen.
Falsch. Backpropagation verwendet Ableitungen zur Berechnung der Gradienten des Fehlers.
Fülle die Lücke: Der Fehler wird durch __________ berechnet.
die Verlustfunktion (z.B. Mean Squared Error).
Was passiert während der Vorwärtspropagation?
Eingabedaten durchlaufen das Netzwerk, Aktivierungsfunktionen werden angewendet, und der Ausgang wird generiert.
Vergleiche Vorwärts- und Rückwärtspropagation.
Vorwärtspropagation: Datenfluss ins Netzwerk. Rückwärtspropagation: Fehlerfluss zum Anpassen der Gewichte.
Was sind Aktivierungsfunktionen?
Funktionen, die die Ausgabe eines Neurons bestimmen. Beispiele: Sigmoid, ReLU, Tanh.
Was ist der Zweck der Kostenfunktion?
Sie misst die Differenz zwischen den vorhergesagten und den tatsächlichen Werten.
Nenne ein Beispiel für eine Kostenfunktion.
Mean Squared Error (MSE) oder Kreuzentropie für Klassifikation.
Was bedeutet 'Gradientenabstieg'?
Ein Optimierungsverfahren, das die Gewichte in Richtung des steilsten Abstiegs der Kostenfunktion anpasst.
Wahr oder Falsch: Backpropagation funktioniert nur mit linearen Funktionen.
Falsch. Backpropagation funktioniert auch mit nichtlinearen Aktivierungsfunktionen.
Nenne die Schritte der Backpropagation.
- Berechnung der Ausgabe - Fehlerberechnung - Rückpropagierung des Fehlers - Gewichtsaktualisierung
Was ist das Ziel der Gewichtsanpassung?
Die Minimierung des Fehlers zwischen vorhergesagten und tatsächlichen Ausgaben.
Fülle die Lücke: Der Lernrate bestimmt __________.
wie schnell die Gewichte aktualisiert werden.
Was ist der Unterschied zwischen Batch- und Online-Training?
Batch-Training verwendet alle Daten auf einmal, Online-Training aktualisiert die Gewichte nach jedem Beispiel.
Wahr oder Falsch: Die Anzahl der Schichten beeinflusst die Lernfähigkeit des Netzwerks.
Wahr. Mehr Schichten können komplexere Muster lernen, erhöhen jedoch die Rechenanforderungen.
Mathematische Grundlagen(16)
Was ist der Gradient?
Der Gradient ist ein Vektor, der die Richtung und die Steigung der steilsten Zunahme einer Funktion angibt.
Ableitungen sind wichtig, weil...
sie das Verhalten einer Funktion beschreiben und zur Berechnung des Gradienten verwendet werden.
Was beschreibt die Verlustfunktion?
Die Verlustfunktion misst die Abweichung zwischen den tatsächlichen und den vorhergesagten Werten. Häufig verwendet: .
Gradientenabstieg vs. Stochastischer Gradientenabstieg?
- Gradientenabstieg: nutzt Gesamtdaten. - Stochastischer Gradientenabstieg: nutzt einen Datensatz pro Iteration.
Was ist die Kettenregel?
Die Kettenregel ist eine Regel zur Ableitung von zusammengesetzten Funktionen. Sie lautet: .
Fülle die Lücke: Der Gradient ist der Vektor der ______.
partiellen Ableitungen einer Funktion.
Was ist eine partielle Ableitung?
Eine partielle Ableitung beschreibt die Änderung einer Funktion in Bezug auf eine Variable, während die anderen konstant gehalten werden.
Wahr oder falsch: Der Gradient ist immer positiv.
Falsch. Der Gradient kann negativ, null oder positiv sein, abhängig von der Funktion und dem Punkt.
Warum ist der Lernrate wichtig?
Die Lernrate bestimmt, wie schnell ein Modell lernt. Zu hoch kann zu Instabilität führen, zu niedrig verlängert das Training.
Was ist der Zweck der Backpropagation?
Backpropagation dient zur Berechnung der Gradienten der Verlustfunktion in Bezug auf die Gewichte eines neuronalen Netzes.
Der Verlust wird minimiert durch...
Anpassung der Gewichte in Richtung des negativen Gradienten: $w = w - ext{Lernrate} imes abla L$.
Was ist der Zusammenhang zwischen Aktivierungsfunktion und Ableitungen?
Aktivierungsfunktionen beeinflussen die Form der Verlustfunktion und deren Ableitungen, was sich auf den Gradient auswirkt.
Was beschreibt die Hessian-Matrix?
Die Hessian-Matrix beschreibt die zweiten Ableitungen einer Funktion und gibt Informationen zur Krümmung.
Fülle die Lücke: Die Backpropagation verwendet die ______ Regel.
Kettenregel zur Berechnung der Gradienten.
Was ist der Unterschied zwischen globalem und lokalem Minimum?
Globales Minimum ist der niedrigste Punkt der Funktion, lokales Minimum ist nur ein niedriger Punkt innerhalb eines bestimmten Bereichs.
Was passiert bei Überanpassung?
Das Modell lernt Rauschen in den Trainingsdaten anstelle von allgemeinen Mustern, was die Generalisierungsfähigkeit beeinträchtigt.
Anwendung und Optimierung(16)
Was ist eine häufige Anwendung von Backpropagation?
Backpropagation wird häufig in tiefen neuronalen Netzen eingesetzt, um die Gewichte durch Minimierung des Fehlers zu optimieren.
Nenne zwei Architekturen, die Backpropagation verwenden.
1. Feedforward-Netzwerke 2. Convolutional Neural Networks (CNNs)
Fülle die Lücke: Backpropagation optimiert die Gewichte durch __________.
Gradientenabstieg
Wahr oder Falsch: Backpropagation kann nur in klassischen neuronalen Netzen verwendet werden.
Falsch – Backpropagation kann auch in anderen Architekturen wie CNNs und RNNs verwendet werden.
Wie verbessert die Batchnormalisierung die Backpropagation?
Batchnormalisierung reduziert interne Kovariatenverschiebung, was zu stabileren Lernprozessen und schnelleren Konvergenzen führt.
Was ist ein Vorteil des Adam-Optimierers gegenüber SGD?
Adam passt die Lernrate adaptiv an und kombiniert die Vorteile von Momentum und RMSProp für schnellere Konvergenz.
Was passiert bei der Überanpassung?
Das Modell lernt die Trainingsdaten zu gut und generalisiert schlecht auf neue Daten.
Wie kann Dropout die Backpropagation unterstützen?
Dropout verhindert Überanpassung, indem es zufällig Neuronen während des Trainings deaktiviert, was zu robusteren Modellen führt.
Vergleiche L2- und L1-Regularisierung.
L2-Regularisierung fügt die Quadratsumme der Gewichte hinzu, während L1-Regularisierung die Absolutsummen der Gewichte hinzufügt.
Was ist der Zweck des Lernraten-Scheduler?
Ein Lernraten-Scheduler passt die Lernrate während des Trainings an, um die Konvergenz zu verbessern.
Nenne eine Technik zur Verbesserung der Backpropagation in RNNs.
Zellen wie LSTM oder GRU helfen, das vanishing gradient problem zu reduzieren.
Wie beeinflusst die Wahl der Aktivierungsfunktion die Backpropagation?
Die Aktivierungsfunktion beeinflusst die Gradientberechnung. ReLU kann den vanishing gradient verringern, während Sigmoid diesen verstärken kann.
Was ist der Zweck der Gewichtinitialisierung?
Eine gute Gewichtinitialisierung verhindert, dass das Modell in lokale Minima fällt und beschleunigt das Lernen.
Was versteht man unter Vorwärts- und Rückwärtsdurchlauf?
Der Vorwärtsdurchlauf berechnet die Ausgabe, der Rückwärtsdurchlauf aktualisiert die Gewichte mithilfe von Backpropagation.
Erläutere den Begriff 'Gradientenexplosion'.
Gradientenexplosion tritt auf, wenn die Gradienten während der Backpropagation zu groß werden, was zu instabilem Lernen führt.
Nenne eine Strategie zur Vermeidung von Überanpassung.
Verwenden von Kreuzvalidierung zur Auswahl des besten Modells und der besten Hyperparameter.
Herausforderungen und Lösungen(16)
Überanpassung (Overfitting) in neuronalen Netzen?
Überanpassung tritt auf, wenn ein Modell zu komplex ist und zu gut an die Trainingsdaten angepasst wird. - Lösung: Regularisierung, Cross-Validation, frühzeitiges Stoppen.
Welche Probleme können bei der Gewichtsinitialisierung auftreten?
Eine schlechte Gewichtsinitialisierung kann zu langsamer Konvergenz oder zum Verschwinden der Gradienten führen. - Lösung: Verwende He- oder Xavier-Initialisierung.
Wahr oder Falsch: Backpropagation kann immer globale Minima finden.
Falsch. Backpropagation findet oft lokale Minima, insbesondere bei nicht-konvexen Verlustfunktionen.
Gradientenverschwindung?
Ein Problem, bei dem die Gradienten während der Rückpropagation sehr klein werden, was das Lernen behindert. - Lösung: Verwendung von aktiven Funktionen wie ReLU.
Was sind die Ursachen für langsames Lernen?
Langsame Lernraten oder nicht optimale Hyperparameter können zu langsamem Lernen führen. - Lösung: Hyperparameter-Tuning, adaptive Lernraten.
Was sind die Auswirkungen von zu hohen Lernraten?
Zu hohe Lernraten können dazu führen, dass das Modell divergiert und die Kosten nicht konvergieren. - Lösung: Senke die Lernrate.
Fülle die Lücke: Die Backpropagation verwendet den _____ Algorithmus zur Anpassung der Gewichte.
Gradientenabstieg.
Wie beeinflusst die Batch-Größe die Backpropagation?
Kleinere Batch-Größen bieten mehr Stochasticität, während größere Batch-Größen stabilere Schätzungen bieten. - Trade-off: Geschwindigkeit vs. Genauigkeit.
Wahr oder Falsch: Batch-Normalisierung beschleunigt das Lernen.
Wahr. Batch-Normalisierung normalisiert die Eingaben jeder Schicht, was zu schnellerem Lernen führt.
Drohneneffekte bei neuronalen Netzen?
Drohneneffekte, wie instabiler Gradientenfluss, können auftreten. - Lösung: Обеспечение правильной архитектуры.
Was passiert bei einer schlechten Wahl der Aktivierungsfunktion?
Schlechte Wahl kann zu Problemen wie Gradientenverschwindung oder -explosion führen. - Lösung: Auswahl geeigneter Funktionen (z.B. ReLU).
Was ist der Einfluss von regularisierten Verlustfunktionen?
Regularisierte Verlustfunktionen helfen, Überanpassung zu vermeiden, indem sie eine Bestrafung für große Gewichte einführen. - Beispiel: L2-Regularisierung.
Wie kann man mit inkonsistenten Daten umgehen?
Inconsistency kann zu Fehlern führen. - Lösungen: Datenbereinigung, augmentierte Daten, robustere Modelle.
Was ist der Unterschied zwischen Stochastic und Mini-Batch Gradient Descent?
Stochastic verwendet ein einzelnes Beispiel pro Update, während Mini-Batch mehrere Beispiele verwendet. - Mini-Batch ist oft stabiler und schneller.
Verlustfunktionen in Backpropagation?
Verlustfunktionen messen die Differenz zwischen tatsächlichen und vorhergesagten Werten. - Beispiele: MSE, Kreuzentropie.
Was bewirken Aktivierungsfunktionen?
Aktivierungsfunktionen führen Nichtlinearitäten in das Modell ein, was komplexere Muster erlernt. - Beispiele: Sigmoid, Tanh, ReLU.
Vragen in deze set(64)
1. Was beschreibt der Begriff 'Backpropagation' in neuronalen Netzen?
2. Was ist eine der Hauptursachen für Überanpassung in neuronalen Netzen?
3. Was ist eine wichtige Eigenschaft von Backpropagation in neuronalen Netzen?
4. Was ist die Hauptfunktion der Verlustfunktion in neuronalen Netzen?
5. Welche Komponente ist KEINE Hauptkomponente eines neuronalen Netzes?
6. Worin besteht der Vorteil der Verwendung von Batch-Normalisierung?
7. Welche Architektur ist bekannt dafür, Backpropagation zu verwenden?
8. Was beschreibt die Bedeutung der Lernrate in einem neuronalen Netz?
9. Wahr oder Falsch: Backpropagation kann ohne Ableitungen durchgeführt werden.
10. Welches Problem kann bei der Verwendung einer zu hohen Lernrate auftreten?
11. Fülle die Lücke: Die Hauptidee von Backpropagation ist die Anpassung der Gewichte durch __________.
12. Welche Aussage beschreibt die Kettenregel am besten?
13. Fülle die Lücke: Der Fehler wird durch __________ ermittelt.
14. Wie kann Gradientenverschwindung in neuronalen Netzen vermieden werden?
15. Wahr oder Falsch: Backpropagation kann nur in Feedforward-Netzen verwendet werden.
16. Was passiert bei einer Überanpassung eines Modells?
17. Was geschieht während der Vorwärtspropagation?
18. Wann ist die Verwendung von Dropout sinnvoll?
19. Wie unterstützt die Batchnormalisierung die Backpropagation?
20. Welche der folgenden Optionen beschreibt den Unterschied zwischen Gradientenabstieg und stochastischem Gradientenabstieg?
21. Vergleiche Vorwärts- und Rückwärtspropagation.
22. Worin besteht der Unterschied zwischen Stochastic Gradient Descent und Mini-Batch Gradient Descent?
23. Welcher Optimierer ist bekannt dafür, die Lernrate adaptiv anzupassen?
24. Was stellt die Hessian-Matrix dar?
25. Was sind Aktivierungsfunktionen?
26. Welches der folgenden Probleme tritt häufig bei einer schlechten Gewichtsinitialisierung auf?
27. Was passiert bei der Überanpassung in einem Modell?
28. In welchem Kontext ist die partielle Ableitung bedeutend?
29. Was ist der Zweck der Kostenfunktion?
30. Was ist der Zweck von Regularisierungstechniken wie L2-Regularisierung?
31. Wie kann Dropout die Backpropagation unterstützen?
32. Was ist eine wichtige Eigenschaft des Gradienten?
33. Nenne ein Beispiel für eine Kostenfunktion.
34. Was beschreibt der Begriff 'Vanishing Gradient' am besten?
35. Vergleiche L2- und L1-Regularisierung: Was ist ein Hauptunterschied?
36. Was ist ein lokales Minimum?
37. Was bedeutet 'Gradientenabstieg'?
38. Warum ist eine sorgfältige Wahl der Aktivierungsfunktion wichtig?
39. Was ist der Zweck eines Lernraten-Schedulers?
40. Warum sind Ableitungen für neuronale Netze wichtig?
41. Wahr oder Falsch: Backpropagation funktioniert ausschließlich mit linearen Funktionen.
42. Was ist der Hauptnachteil von zu kleinen Batch-Größen?
43. Nenne eine Technik zur Verbesserung der Backpropagation in RNNs.
44. Was geschieht, wenn die Lernrate zu hoch eingestellt ist?
45. Nenne die Schritte der Backpropagation.
46. Was sind die Auswirkungen von zu hoher Komplexität in einem Modell?
47. Wie beeinflusst die Wahl der Aktivierungsfunktion die Backpropagation?
48. Was beschreibt die Aktivierungsfunktion in einem neuronalen Netz?
49. Was ist das Ziel der Gewichtsanpassung?
50. Was ist eine der Hauptaufgaben von Verlustfunktionen in neuronalen Netzen?
51. Was ist der Zweck der Gewichtinitialisierung?
52. Wofür wird die Backpropagation verwendet?
53. Fülle die Lücke: Die Lernrate bestimmt __________.
54. Wie kann man mit inkonsistenten Daten umgehen?
55. Was versteht man unter Vorwärts- und Rückwärtsdurchlauf?
56. Was bedeutet es, wenn ein Gradient null ist?
57. Was ist der Unterschied zwischen Batch- und Online-Training?
58. Was beschreibt der Begriff 'lokale Minima' in Bezug auf Backpropagation?
59. Erläutere den Begriff 'Gradientenexplosion'.
60. Was ist eine häufige Verlustfunktion für Regression?
61. Wahr oder Falsch: Die Anzahl der Schichten beeinflusst die Lernfähigkeit des Netzwerks.
62. Welche der folgenden Techniken hilft, Überanpassung in neuronalen Netzen zu vermeiden?
63. Nenne eine Strategie zur Vermeidung von Überanpassung.
64. Welche Aussage über den Gradient ist korrekt?
Gerelateerde sets
Test: KI und ein normales Programm
Trainingsdaten und Bias Notizen
Entscheidungsbäume Machine Learning Klausurvorbereitung
k-Means Clustering Karteikarten
Abitur neuronales Netz Idee
Überwachtes und unüberwachtes Lernen Prüfungsfragen
Transformer und Large Language Models Klausurvorbereitung
Was maschinelles Lernen macht Schritt für Schritt
Maak je eigen studieset
Upload een PDF, plak je notities of beschrijf een onderwerp – AI genereert flashcards, quizzen en meer in seconden.
