Reinforcement learning idea domande

Cos'è l'apprendimento per rinforzo?

È un tipo di apprendimento automatico dove un agente impara a prendere decisioni attraverso l'interazione con un ambiente.

Qual è l'obiettivo principale dell'agente?

Massimizzare la ricompensa cumulativa nel tempo.

Vero o falso: l'apprendimento per rinforzo richiede dati etichettati.

Falso. Non richiede dati etichettati, ma feedback sotto forma di ricompense.

Cosa rappresenta la funzione di valore?

Valuta l'utilità attesa di uno stato, considerando le ricompense future.

Qual è la differenza tra esplorazione e sfruttamento?

Esplorazione: provare nuove azioni. Sfruttamento: scegliere l'azione migliore conosciuta.

Come si può definire un ambiente in questo contesto?

È il contesto in cui l'agente opera e riceve feedback.

Qual è la formula della ricompensa cumulativa?

$\displaystyle R_t = r_t + \beta R_{t+1}$, dove $\displaystyle \beta$ è il fattore di sconto.

Cosa fa la funzione di politica?

Determina la probabilità di scegliere un'azione data uno stato.

Cosa sono gli stati in un MDP?

Rappresentano situazioni specifiche in cui si trova l'agente.

Qual è il ruolo della ricompensa?

Fornisce feedback all'agente per valutare le azioni intraprese.

Vero o falso: un agente può apprendere senza ricompense immediate.

Vero. Può apprendere attraverso ricompense ritardate.

Come influisce il fattore di sconto sulla decisione?

Riduce l'importanza delle ricompense future, influenzando l'urgenza delle decisioni.

Qual è un esempio di algoritmo di apprendimento per rinforzo?

Q-learning è un algoritmo popolare per apprendere politiche ottimali.

Cosa significa 'convergenza' in questo contesto?

Riferisce al raggiungimento di una politica stabile e ottimale.

Come si definisce un'azione in un MDP?

È una scelta che l'agente può fare per interagire con l'ambiente.

Cosa rappresenta la Q-funzione?

Valuta la qualità di un'azione in uno stato, facilitando la scelta dell'azione.

Cos'è l'algoritmo Q-learning?

È un algoritmo di apprendimento per rinforzo che apprende la politica ottimale attraverso l'aggiornamento delle Q-value associati a coppie stato-azione.

Vero o falso: L'algoritmo SARSA è on-policy.

Vero. SARSA aggiorna le politiche basandosi sulle azioni realmente eseguite dall'agente, contrariamente a Q-learning, che è off-policy.

Completa l'asserzione: L'algoritmo DDPG è utilizzato per...

L'algoritmo DDPG è utilizzato per il controllo continuo in ambienti con spazi d'azione continui.

Qual è la differenza tra Q-learning e SARSA?

Q-learning è off-policy e utilizza la massima Q-value per aggiornamenti, mentre SARSA è on-policy e usa l'azione corrente.

Qual è il principio dell'algoritmo Monte Carlo?

L'algoritmo Monte Carlo stima i valori delle politiche attraverso l'osservazione di episodi completi e calcolando la media delle ricompense.

Vero o falso: L'algoritmo A3C utilizza più agenti.

Vero. A3C (Asynchronous Actor-Critic) utilizza più agenti che lavorano in parallelo per aggiornare un modello centrale.

Cosa rappresenta la funzione di valore V(s)?

La funzione di valore V(s) rappresenta il valore atteso delle ricompense a lungo termine a partire dallo stato 's'.

Qual è l'oggetto principale del DQN?

Il DQN (Deep Q-Network) utilizza una rete neurale profonda per approssimare la funzione Q, migliorando l'efficacia del Q-learning.

Qual è la formula per il valore Q aggiornato?

$\displaystyle Q(s,a) \leftarrow Q(s,a) + \alpha \left[ r + \gamma \max_{a'} Q(s',a') - Q(s,a) \right]$

Esempio di algoritmo off-policy?

Q-learning è un esempio di algoritmo off-policy che apprende la politica ottimale senza seguire la politica corrente.

Cosa significa 'exploration vs exploitation'?

Rappresenta il bilanciamento tra l'esplorazione di nuove azioni e l'uso di azioni già conosciute che massimizzano le ricompense.

Qual è l'obiettivo principale degli algoritmi di apprendimento per rinforzo?

L'obiettivo principale è massimizzare la ricompensa cumulativa nel tempo attraverso l'apprendimento di strategie ottimali.

Vero o falso: L'algoritmo REINFORCE è un metodo di politica.

Vero. REINFORCE è un algoritmo basato sulla politica che ottimizza direttamente la funzione di politica.

Cosa fa il termine 'discount factor'?

Il 'discount factor' ($\displaystyle \beta$) determina quanto le ricompense future siano considerate rispetto a quelle immediate, influenzando le decisioni dell'agente.

Cosa sono le 'policy gradient methods'?

Sono metodi che ottimizzano la politica direttamente, calcolando il gradiente della funzione di performance rispetto ai parametri della politica.

Qual è il ruolo dell'epsilon in epsilon-greedy?

Epsilon determina la probabilità di esplorazione rispetto all'exploitation, influenzando la varietà delle azioni intraprese dall'agente.

Qual è un'applicazione comune?

I giochi: l'apprendimento per rinforzo è utilizzato per addestrare agenti in videogiochi, come AlphaGo.

Vero o falso: l'apprendimento per rinforzo è utilizzato nella robotica.

Vero: permette ai robot di apprendere attraverso l'esperienza e migliorare le loro prestazioni.

Cosa ottimizza nelle finanze?

Strategie di trading: gli algoritmi apprendono come massimizzare i profitti basandosi su dati storici.

Qual è un esempio di assistente virtuale?

Sistemi di raccomandazione: apprendono le preferenze degli utenti e migliorano le raccomandazioni nel tempo.

Causa → effetto: apprendimento per rinforzo nei veicoli autonomi.

Causa: apprendimento tramite esperienze. Effetto: miglioramento della navigazione e della sicurezza.

Confronta: apprendimento per rinforzo vs apprendimento supervisionato.

Apprendimento per rinforzo: apprende tramite ricompense. Apprendimento supervisionato: apprende da dati etichettati.

Quale settore utilizza i chatbot?

Servizio clienti: i chatbot apprendono come rispondere a domande frequenti e migliorano le interazioni.

Riempi lo spazio: nei videogiochi, l'AI utilizza _______ per strategie di gioco.

l'apprendimento per rinforzo.

Qual è un'applicazione in medicina?

Piani di trattamento: modelli di apprendimento per rinforzo suggeriscono le migliori terapie in base ai risultati.

Vero o falso: l'apprendimento per rinforzo non è utile nel settore dell'energia.

Falso: ottimizza la gestione e il consumo energetico attraverso strategie adattive.

Quale sistema utilizza l'apprendimento per rinforzo per migliorare la mobilità urbana?

Sistemi di gestione del traffico: ottimizzano i flussi di traffico e riducono i tempi di attesa.

Quali settori sono influenzati dall'apprendimento per rinforzo?

- Finanza - Robotica - Gioco - Assistenza virtuale

Qual è un'applicazione nell'educazione?

Piattaforme di apprendimento personalizzato: adattano i percorsi di studio in base ai progressi degli studenti.

Causa → effetto: apprendimento per rinforzo nei giochi.

Causa: l'agente sperimenta il gioco. Effetto: apprende strategie vincenti nel tempo.

Riempi lo spazio: i droni utilizzano _______ per ottimizzare le rotte.

l'apprendimento per rinforzo.

Qual è un esempio nel settore dell'agricoltura?

Ottimizzazione dell'irrigazione: modelli che apprendono come massimizzare i raccolti minimizzando l'acqua.