Natural language processing base domande

Cos'è il NLP?

Il NLP (Natural Language Processing) è un campo dell'intelligenza artificiale che si occupa dell'interazione tra computer e linguaggio umano.

Tokenizzazione → Definizione

La tokenizzazione è il processo di suddivisione del testo in unità più piccole chiamate token, che possono essere parole o frasi.

Vero o falso: Il NLP non utilizza machine learning.

Falso. Il NLP spesso utilizza tecniche di machine learning per migliorare l'analisi del linguaggio.

Cos'è un corpus?

Un corpus è un grande insieme di dati testuali utilizzato per allenare e testare modelli di NLP.

Stemming vs Lemmatizzazione

Stemming riduce le parole alle loro radici, mentre la lemmatizzazione considera il significato e la grammatica.

Cos'è il sentiment analysis?

Il sentiment analysis è una tecnica che determina l'emozione o il sentimento espresso in un testo, come positivo o negativo.

Funzione di costo nel NLP

La funzione di costo misura l'errore di un modello. Un esempio comune è la cross-entropy.

Cos'è un modello di linguaggio?

Un modello di linguaggio prevede la probabilità di una sequenza di parole, utilizzato in traduzione e generazione di testo.

Cos'è la disambiguazione?

La disambiguazione è il processo di risoluzione dell'ambiguità in un testo, identificando il significato corretto delle parole.

Fill in the blank: L'____ è una tecnica per ridurre le dimensioni delle feature.

L'analisi delle componenti principali (PCA) è una tecnica per ridurre le dimensioni delle feature.

Cos'è il POS tagging?

Il POS tagging (Part-of-Speech tagging) assegna etichette grammaticali a parole, come sostantivi, verbi, aggettivi.

Vero o falso: Le reti neurali non sono utilizzate nel NLP.

Falso. Le reti neurali sono ampiamente utilizzate per compiti complessi come traduzione e generazione di testo.

Cos'è l'analisi sintattica?

L'analisi sintattica è il processo di analisi della struttura grammaticale di una frase, identificando le relazioni tra le parole.

Rappresentazione vettoriale → Definizione

La rappresentazione vettoriale è una tecnica per convertire parole in vettori numerici, facilitando l'elaborazione attraverso algoritmi.

Esempio di uso di NER

Il Named Entity Recognition (NER) identifica entità come nomi di persone, luoghi o organizzazioni in un testo.

Cos'è il pre-processing?

Il pre-processing è una fase fondamentale in NLP che prepara i dati testuali tramite normalizzazione, rimozione di stop words e altri passaggi.

Tokenizzazione

Processo di suddivisione del testo in unità più piccole, chiamate token. Esempi: parole, frasi.

Cos'è il part-of-speech tagging?

Assegnazione di etichette grammaticali a ciascun token in un testo, come sostantivi, verbi, aggettivi.

Vero o Falso: La lemmatizzazione è come la stemming.

Falso. La lemmatizzazione porta a una forma base corretta, mentre la stemming taglia le parole senza regole.

Cos'è l'analisi del sentiment?

Tecnica per determinare l'opinione espressa in un testo, classificando come positiva, negativa o neutra.

Puoi fare un esempio di n-gram?

Un bigramma è una sequenza di due parole, ad esempio: 'il cane'.

Named Entity Recognition (NER)

Tecnica per identificare e classificare entità nel testo, come nomi di persone, organizzazioni e luoghi.

Differenza tra stemming e lemmatizzazione?

Stemming riduce una parola alla sua radice, mentre la lemmatizzazione usa un dizionario per trovare la forma base corretta.

Cos'è la rappresentazione vettoriale delle parole?

Tecniche come Word2Vec o GloVe che mappano le parole in spazi vettoriali per catturare somiglianze.

Cos'è la disambiguazione del significato delle parole?

Processo di determinare quale significato di una parola è corretto in un particolare contesto.

Cos'è il bag of words?

Rappresentazione del testo che ignora l'ordine delle parole, concentrandosi solo sulla loro frequenza.

Vero o Falso: I modelli di linguaggio prevedono la prossima parola in una sequenza.

Vero. I modelli di linguaggio utilizzano probabilità per prevedere la parola successiva basandosi su parole precedenti.

Word embeddings

Rappresentazioni dense e continue delle parole in uno spazio vettoriale, utili per catturare relazioni semantiche.

Cos'è la traduzione automatica?

Tecnologia NLP che converte il testo da una lingua a un'altra, utilizzando tecniche statistiche o neurali.

Cos'è l'analisi sintattica?

Processo di analisi della struttura grammaticale di una frase, identificando come le parole si uniscono.

Cos'è la rimozione delle stop words?

Tecnica che elimina parole comuni e poco informative (come 'e', 'il') da un testo per migliorare l'analisi.

Differenza tra CNN e RNN nel NLP?

Le CNN sono usate per la classificazione delle immagini, mentre le RNN sono più adatte per sequenze temporali, come il testo.

Cos'è la co-referenza?

Identificazione di espressioni nel testo che si riferiscono alla stessa entità, ad esempio, 'Maria' e 'lei'.

Cos'è il topic modeling?

Tecnica per estrarre argomenti latenti da un insieme di documenti, utilizzando algoritmi come LDA.

Cos'è l'analisi semantica?

Studio del significato delle parole e delle frasi e delle relazioni tra di esse nel contesto.

Cos'è il word sense disambiguation?

È il processo di identificazione del significato corretto di una parola in base al contesto. - Importante per la comprensione del linguaggio - Utilizzato in applicazioni di traduzione e ricerca. - Esempio: "banca" può riferirsi a un istituto finanziario o a una riva.

Chatbot → assistenza clienti

I chatbot utilizzano il NLP per rispondere automaticamente alle domande dei clienti, migliorando l'efficienza del servizio.

Riconoscimento vocale → come funziona?

Il riconoscimento vocale converte la voce in testo, analizzando le onde sonore e applicando tecniche di NLP per comprendere il significato.

Vero o falso: il NLP è usato nei motori di ricerca.

Vero! Il NLP aiuta a migliorare la rilevanza dei risultati attraverso l'analisi delle query degli utenti.

Analisi del sentiment → scopo

Valutare le opinioni espresse nei testi, ad esempio nelle recensioni online. Utilizza tecniche di classificazione per identificare sentimenti positivi o negativi.

Traduzione automatica → esempi noti

Google Translate, DeepL. Questi servizi utilizzano il NLP per tradurre testi da una lingua all'altra con l'ausilio di modelli di machine learning.

Riassunto automatico → funzione

Riduce un lungo testo a una versione più breve, mantenendo le informazioni più importanti. Utilizza algoritmi di estrazione e astrazione.

Qual è il ruolo dei social media nel NLP?

Analizzano grandi volumi di dati testuali per estrarre insight, trend e sentimenti degli utenti, contribuendo alla ricerca di mercato.

Classificazione delle email → obiettivo principale

Identificare e filtrare lo spam dalle email legittime. Utilizza tecniche di NLP per analizzare il contenuto e classificare i messaggi.

Riconoscimento entità nominate → che cosa analizza?

Identifica nomi di persone, luoghi e organizzazioni in un testo. È utile per estrarre informazioni chiave da documenti o articoli.

Compilare il vuoto: NLP è utilizzato per ___ testi.

Generare automaticamente testi, come articoli o post sui social media, attraverso algoritmi che apprendono dallo stile di scrittura.

Sintesi vocale → applicazioni comuni

Assistenti virtuali, navigatori GPS, lettori di eBook. Converte testo in voce, migliorando l'accessibilità delle informazioni.

Differenza tra analisi del sentiment e classificazione delle emozioni

L'analisi del sentiment identifica il sentiment generale (positivo/negativo), mentre la classificazione delle emozioni riconosce emozioni specifiche (gioia, tristezza, ecc.).

Domanda: come il NLP aiuta nel recruiting?

Analizza i CV e le lettere di presentazione per identificare candidati idonei, facilitando il processo di selezione.

Generazione del linguaggio naturale → scopo

Crea testi coerenti e contestualmente rilevanti, come comunicati stampa o articoli, attraverso algoritmi di machine learning.

Esempio di applicazione: motori di ricerca

I motori di ricerca utilizzano il NLP per interpretare le query degli utenti e fornire risultati pertinenti basati su contenuti web.

Analisi delle recensioni → scopo

L'analisi delle recensioni aiuta a comprendere le opinioni dei clienti. - Valutazione automatica dei feedback - Identificazione di tendenze e problemi - Miglioramento del prodotto e del servizio

NLTK

Natural Language Toolkit. Libreria Python per il NLP. Fornisce strumenti per tokenizzazione, analisi grammaticale, e altro.

spaCy

Libreria NLP veloce e moderna in Python. Supporta analisi sintattica, riconoscimento entità, e embeddings.

Gensim

Utilizzato per il topic modeling e la similarità tra documenti. Supporta modelli come LDA e Word2Vec.

True or False: TensorFlow è specifico per NLP.

Falso. TensorFlow è una libreria di machine learning generale, usata anche per NLP.

Transformers

Libreria di Hugging Face per modelli all'avanguardia. Usa architetture come BERT e GPT per il NLP.

Fill the blank: Keras si integra bene con ____.

TensorFlow. Keras è un'API di alto livello per costruire reti neurali.

Scikit-learn vs NLTK

Scikit-learn è per il machine learning, NLTK è per il NLP. Entrambi utili, ma scopi diversi.

OpenNLP

Libreria Java per NLP. Include strumenti per tokenizzazione, analisi grammaticale, e riconoscimento entità.

Word2Vec

Modello di embedding che rappresenta parole in uno spazio vettoriale. Utilizza reti neurali per apprendere rappresentazioni.

Question: Cosa fa la libreria TextBlob?

Fornisce strumenti per analisi del sentimento, traduzione e correzione grammaticale.

spaCy vs NLTK

spaCy è più veloce e adatto per applicazioni in tempo reale; NLTK è più educativo e ricco di risorse.

TfidfVectorizer

Strumento per trasformare documenti in vettori di caratteristiche usando il modello TF-IDF.

True or False: TextRank è usato per il riassunto di testi.

Vero. TextRank è un algoritmo di estrazione per riassunti basato su grafi.

Stanza

Libreria NLP di Stanford. Offre modelli per analisi linguistica in diverse lingue.

Cause → Effect: Preprocessing → Migliore accuratezza.

Il preprocessing dei dati migliora l'accuratezza dei modelli NLP.

FastText

Modello di embedding sviluppato da Facebook. Rappresenta parole come somme di n-grammi.