Tentamen: Neurale netwerken en backpropagation

Wat is een neuraal netwerk?

Een neuraal netwerk is een computermodel dat is geïnspireerd op de manier waarop menselijke hersenen werken. Het bestaat uit verbonden knooppunten of neuronen die informatie verwerken.

Wat zijn neuronen in een netwerk?

Neuronen zijn de basisbouwstenen van een neuraal netwerk. Ze ontvangen input, passen een activatiefunctie toe en geven output door aan andere neuronen.

Vul de lege ruimte in: Een laag in een neuraal netwerk bestaat uit ______.

neuro-elementen die samenwerken om informatie te verwerken.

Wat is een activatiefunctie?

Een activatiefunctie bepaalt of een neuron actief is of niet, op basis van de ontvangen input. Voorbeelden zijn sigmoid, ReLU en tanh.

Vergelijk 'overfitting' en 'underfitting'.

Overfitting: model presteert goed op trainingsdata, maar slecht op nieuwe data. Underfitting: model presteert slecht op zowel trainings- als testdata.

Wat is een gewichtsparameter?

Gewichten zijn waarden die de sterkte van de verbindingen tussen neuronen bepalen. Ze worden aangepast tijdens het trainen van het netwerk.

Wat doet een verliesfunctie?

Een verliesfunctie meet hoe goed het model presteert door de voorspellingen te vergelijken met de werkelijke waarden. Het doel is om deze waarde te minimaliseren.

Waar staan de letters 'CNN' voor?

CNN staat voor Convolutioneel Neuraal Netwerk, een type netwerk dat vooral wordt gebruikt voor beeldverwerking.

Vul de lege ruimte in: Een batch in training verwijst naar ______.

een subset van de trainingsdata die in één keer door het netwerk wordt verwerkt.

Wat is een dropoutlaag?

Een dropoutlaag voorkomt overfitting door tijdens de training willekeurig een aantal neuronen uit te schakelen, zodat het netwerk niet afhankelijk wordt van specifieke verbindingen.

Waarvoor dienen bias-parameters?

Bias-parameters helpen het model om beter te presteren door een constante waarde toe te voegen aan de input van een neuron, wat de activatiefunctie beïnvloedt.

Waarin verschilt supervisie van ongesuperviseerde training?

Supervisie gebruikt gelabelde data om het model te trainen, terwijl ongesuperviseerde training probeert patronen in ongelabelde data te herkennen.

Wat is een epoch?

Een epoch is één volledige doorloop van de trainingsdata door het neuraal netwerk. Meerdere epochs zijn vaak nodig voor optimale training.

Wat is 'gradient descent'?

Gradient descent is een optimalisatietechniek die wordt gebruikt om de gewichten in een neuraal netwerk aan te passen op basis van de gradients van de verliesfunctie.

Waar wordt een validatieset voor gebruikt?

Een validatieset wordt gebruikt om het model te evalueren tijdens de training, zodat overfitting kan worden voorkomen door de prestaties te monitoren.

Waarvoor dient een activatiefunctie zoals ReLU?

ReLU (Rectified Linear Unit) helpt bij het versnellen van training door alleen positieve waarden door te laten, wat leidt tot een snellere convergentie.

Wat is backpropagation?

Backpropagation is een algoritme dat wordt gebruikt om de gewichten van neurale netwerken aan te passen door de fout van de output terug te propagaren naar de ingangen.

Wat is de rol van de activatiefunctie?

De activatiefunctie bepaalt of een neuron geactiveerd wordt door een inputsignaal. Voorbeelden zijn sigmoid, ReLU en tanh.

Wat is de formule voor foutberekening?

De fout wordt meestal berekend met de kwadratische fout: $\displaystyle E = \frac{1}{2} imes (y_{werkelijk} - y_{voorspeld})^2$.

Vul de lege plek in: De learning rate bepaalt ______.

de grootte van de stap in de gewichtsupdate tijdens de training.

Wat is het doel van optimalisatie?

Optimalisatie heeft als doel het minimaliseren van de foutfunctie door het aanpassen van de gewichten in het netwerk.

Wat betekent overfitting?

Overfitting betekent dat een model te goed presteert op de trainingsdata maar slecht op nieuwe, ongeziene data.

Wat is stochastic gradient descent?

Stochastic gradient descent (SGD) is een optimalisatietechniek die gewichten aanpast op basis van één of enkele voorbeelden per keer.

Vergelijk mini-batch gradient descent en stochastic gradient descent.

Mini-batch gebruikt een groep gegevens om gewichtupdates te berekenen, terwijl stochastic elke individuele instantie gebruikt.

Wat is regularisatie?

Regularisatie is een techniek om overfitting te voorkomen, bijvoorbeeld door een strafterm toe te voegen aan de foutfunctie.

Wat doet de activatiefunctie ReLU?

ReLU (Rectified Linear Unit) zet negatieve waarden om in nul en houdt positieve waarden gelijk: $\displaystyle f(x) = ext{max}(0, x)$.

Wat is momentum in optimalisatie?

Momentum is een techniek die de snelheid van de gewichtsupdates verbetert door eerdere updates mee te nemen.

Wat is een leerplan (learning schedule)?

Een leerplan is een strategie om de learning rate gedurende de training aan te passen, vaak om convergentie te verbeteren.

Wat is de rol van een verliesfunctie?

De verliesfunctie meet hoe goed een model presteert; het doel is om deze waarde te minimaliseren.

Wat is een hyperparameter?

Hyperparameters zijn parameters die buiten het model zelf worden ingesteld, zoals learning rate en batchgrootte.

Voor waar of niet waar: Backpropagation is een supervised learning techniek.

Waar. Backpropagation wordt gebruikt in supervised learning om modellen te trainen met gelabelde data.

Geef een voorbeeld van een optimalisatietechniek.

Voorbeeld: Adam, een geavanceerde optimalisatie-algoritme dat adaptieve learning rates gebruikt.

Wat is een feedforward netwerk?

Een feedforward netwerk is een type neurale netwerk waarbij informatie in één richting stroomt, van input naar output. Geen cycli of terugkoppeling.

Toepassing van convolutionele netwerken?

Convolutionele netwerken worden veel gebruikt in beeldherkenning en computer vision, zoals gezichtsherkenning en objectdetectie.

Wat is een recurrent netwerk?

Een recurrent netwerk (RNN) heeft verbindingen die terugkoppeling mogelijk maken, waardoor het geschikt is voor sequentiële gegevens zoals tekst- of spraakherkenning.

Verschil tussen feedforward en convolutioneel netwerk?

Feedforward netwerken hebben geen speciale structuur voor ruimtelijke informatie, terwijl convolutionele netwerken speciaal zijn ontworpen voor het verwerken van afbeeldingen.

Wat zijn generatieve adversariële netwerken (GANs)?

GANs bestaan uit twee netwerken: een generator en een discriminator. Ze concurreren met elkaar om realistische gegevens te genereren.

Wat doet een auto-encoder?

Een auto-encoder is een type netwerk dat leert om inputdata te reconstrueren. Het comprimeert de data in een lagere dimensie en reconstrueert deze later.

Toepassing van recurrente netwerken?

Recurrente netwerken worden gebruikt voor tijdreeksvoorspellingen, vertalingen en spraakherkenning. Ze zijn goed in het onthouden van context.

Wat is een transformer?

Een transformer is een type netwerkmachine learning dat aandachtmechanismen gebruikt. Het is effectief in natuurlijke taalverwerking en vertalingen.

Waarvoor worden capsule netwerken gebruikt?

Capsule netwerken zijn ontworpen om complexere relaties in data te herkennen, zoals rotatie en positie, waardoor ze beter presteren bij beeldherkenning.

Verschil tussen een RNN en een LSTM?

LSTM's zijn een type RNN met extra geheugenstructuren die helpen om lange-afstandsafhankelijkheden te onthouden.

Wat is dropout?

Dropout is een regularisatietechniek die willekeurig neuronen in een netwerk uitschakelt tijdens het trainen. Dit voorkomt overfitting.

Wat is een Boltzmann-machine?

Een Boltzmann-machine is een generatief netwerk dat probabilistische beslissingen maakt. Het leert door een energiefunctie te optimaliseren.

Vul de lege plek in: GANs bestaan uit een _________ en een discriminator.

generator

Waarvoor worden denoising auto-encoders gebruikt?

Ze worden gebruikt om ruis uit gegevens te verwijderen en robuustere features te leren door een vervormde input naar de originele output te reconstrueren.

Wat doet een attention mechanism?

Een attention mechanism laat een netwerk zich richten op specifieke delen van de input, waardoor het beter relevante informatie kan verwerken.

Toepassing van transfer learning?

Transfer learning wordt gebruikt om modellen te verbeteren door kennis van een vooraf getraind model toe te passen op een gerelateerde taak.