Appunti: Feature engineering pratica

Cos'è la Feature Engineering?

È il processo di creazione e selezione di caratteristiche utili per migliorare le prestazioni di un modello di machine learning.

Perché è importante la Feature Engineering?

Le caratteristiche ben progettate possono aumentare la precisione del modello e ridurre il rischio di overfitting.

Caratteristiche: cosa sono?

Le caratteristiche sono variabili utilizzate come input in un modello di machine learning.

Differenza tra dati grezzi e caratteristiche.

I dati grezzi sono non elaborati; le caratteristiche sono estratte e trasformate per il modello.

Vero o Falso: La Feature Engineering è irrilevante per il successo del modello.

Falso. È fondamentale per migliorare le prestazioni del modello.

Esempio di creazione di una nuova caratteristica.

Da 'prezzo' e 'quantità' a 'valore_totale = prezzo imes quantità'.

Caratteristiche numeriche vs. categoriche.

- Numeriche: rappresentano valori continui. - Categoriche: rappresentano classi o categorie discrete.

Cosa sono le caratteristiche derivate?

Sono caratteristiche create a partire da altre esistenti, come il calcolo di differenze o medie.

Qual è il ruolo della normalizzazione?

Serve a ridurre la scala delle caratteristiche numeriche per migliorare l'addestramento del modello.

Qual è un approccio comune per le variabili categoriali?

L'encoding, come il One-Hot Encoding, trasforma categorie in valori numerici.

Cos'è l'interazione tra caratteristiche?

È la combinazione di più caratteristiche per catturare relazioni più complesse nel modello.

Qual è l'obiettivo del ridimensionamento?

Uniformare la scala delle caratteristiche per evitare che alcune dominino il modello.

Cosa significa 'feature selection'?

È il processo di identificazione delle caratteristiche più rilevanti e significative per il modello.

Qual è l'effetto delle caratteristiche rumorose?

Possono degradare le prestazioni del modello introducendo confusione nei dati.

Da cosa dipende la scelta delle caratteristiche?

Dalla comprensione del dominio, dalle correlazioni e dagli obiettivi del modello.

Qual è la formula della varianza?

$\displaystyle Var(X) = \frac{1}{N} imes ext{somma}((x_i - \bar{x})^2)$

Cos'è l'One-Hot Encoding?

È una tecnica per convertire variabili categoriche in una rappresentazione numerica. Ogni categoria è trasformata in una colonna binaria.

Normalizzazione vs. Standardizzazione

Normalizzazione: scala tra 0 e 1. Standardizzazione: media zero e varianza uno. Scelte diverse a seconda dei dati.

Funzione polinomiale

Aggiungere termini polinomiali come $\displaystyle x^2$ può migliorare la capacità del modello di adattarsi a relazioni non lineari nei dati.

Vero o falso: L'estrazione di caratteristiche è sempre necessaria.

Falso. Non è sempre necessaria, dipende dal contesto e dalla qualità dei dati.

Strategia per il log-transform

Utilizzata per ridurre la skewness dei dati. Applicabile a variabili positive: $\displaystyle y' = log(y + 1)$.

Cos'è il Feature Cross?

È creare nuove caratteristiche combinando due o più caratteristiche esistenti, come $\displaystyle x_1 * x_2$ per catturare interazioni.

A cosa serve il Binning?

Dividere le variabili continue in intervalli. Facilita la modellazione e riduce l'overfitting.

Imputazione dei valori mancanti

Tecniche: media, mediana o moda. Importante per mantenere la integrità dei dati.

Esempio di Feature Engineering

Da 'data' a 'data_ora', estrai 'giorno della settimana' e 'ora'. Aggiunge informazioni temporali utili.

Cos'è l'Encoding Ordinale?

Trasforma variabili categoriche con un ordine naturale in numeri. Esempio: bassa=1, media=2, alta=3.

Qual è l'effetto della riduzione della dimensionalità?

Riduce il numero di caratteristiche. Aiuta a migliorare le prestazioni e ridurre il rumore nei dati.

Cos'è il target encoding?

Sostituisce le categorie con la media del target per ciascuna categoria. Utile nei modelli di regressione.

Differenza tra variabili continue e categoriche

Continue: valori numerici. Categoriche: categorie discrete. Trattamento diverso in feature engineering.

Impatto della scala delle caratteristiche

Caratteristiche su scale diverse possono influenzare negativamente i modelli, specialmente quelli basati su distanza.

Cos'è il Polynomial Feature Expansion?

Genera nuove caratteristiche da combinazioni polinomiali delle esistenti. Può migliorare il fit del modello.

Esempio di estrazione di tempo

Da 'data_ora', estrai 'anno', 'mese', 'giorno'. Aggiunge variabilità e informazioni utili.

Vero o falso: La clusterizzazione è una tecnica di estrazione di caratteristiche.

Vero. Può creare nuove caratteristiche basate su gruppi di dati simili.

Cos'è la feature extraction?

Processo di riduzione dei dati per ottenere caratteristiche importanti, migliorando l'efficienza del modello.

Qual è il ruolo delle variabili derivate?

Caratteristiche create da variabili esistenti. Forniscono maggiore informazione e possono migliorare le prestazioni del modello.

Cos'è la tecnica del Feature Selection?

È un metodo per identificare e scegliere le caratteristiche più rilevanti da utilizzare nel modello, riducendo il rumore e migliorando le prestazioni. - Vantaggi: - Maggiore interpretabilità - Minore rischio di overfitting - Riduzione dei tempi di calcolo.

Cosa significa 'preprocessing' dei dati?

È il processo di preparazione dei dati per l'analisi, includendo pulizia e trasformazione.

Rimuovere i valori nulli →

Migliora la qualità dei dati. - Evita errori nei modelli - Riduce bias

Normalizzazione vs Standardizzazione

Normalizzazione: scala in un intervallo [0, 1]. Standardizzazione: trasforma a media 0 e varianza 1.

Cosa sono i 'valori anomali'?

Sono valori che si discostano notevolmente dagli altri. Possono distorcere i risultati.

Vero o falso: I dati test devono essere puliti.

Vero, perché dati sporchi possono portare a modelli errati e risultati fuorvianti.

Esempio di rimozione dei duplicati:

Se abbiamo due righe identiche, mantenere solo una riga per evitare bias nel modello.

Cosa significa 'imputazione dei dati'?

È il processo di sostituzione di valori mancanti con stime, come media o mediana.

Fill in the blank: La __ è fondamentale per migliorare la qualità delle caratteristiche.

Pulizia dei dati

Cosa è 'feature scaling'?

È un metodo per ridurre la gamma delle caratteristiche, utile in algoritmi sensibili alla scala.

Cause della varianza nei dati:

Errori di misurazione, valori anomali, variabilità naturale del fenomeno.

Come trattare le colonne categoriali?

Utilizzare tecniche come One-Hot Encoding o Label Encoding per trasformarle in numeri.

Perché è importante la qualità dei dati?

Dati di alta qualità portano a modelli più accurati e risultati più affidabili.

Selezione delle Caratteristiche

Il processo di identificare e selezionare le caratteristiche più rilevanti per il modello.

Cosa significa 'overfitting'?

È quando un modello si adatta troppo ai dati di addestramento, perdendo capacità di generalizzazione.

Vero o falso: più caratteristiche significano sempre un modello migliore.

Falso. Aggiungere troppe caratteristiche può causare rumore e complicazioni nel modello.

Confronta selezione e estrazione delle caratteristiche.

Selezione: scegli solo alcune caratteristiche. Estrazione: crea nuove caratteristiche da quelle esistenti.

Cosa sono i 'modelli di regressione Lasso'?

Sono modelli che utilizzano la regolarizzazione per ridurre il numero di caratteristiche selezionate.

Esempio di selezione delle caratteristiche

Rimuovere variabili con bassa correlazione rispetto alla variabile target migliora il modello.

Fase di 'feature importance'

Valuta l'impatto di ogni caratteristica sul modello. Utile per la selezione delle caratteristiche.

Quali tecniche di selezione ci sono?

- Filtraggio - Wrapper - Embedded

Cosa sono i 'metodi di filtraggio'?

Tecniche che valutano le caratteristiche in base a metriche statistiche prima della costruzione del modello.

Fill the blank: 'Il ____ è una misura comune per la selezione delle caratteristiche.'

p-value. Misura la significatività statistica delle caratteristiche.

Selezione vs. Regolarizzazione

Selezione: elimina caratteristiche. Regolarizzazione: penalizza complessità del modello.

Cosa è 'Recursive Feature Elimination'?

Un metodo che ripetutamente rimuove le caratteristiche meno importanti e riaddestra il modello.