Modelli dei dati

GloVe

GloVe mira a risolvere questo problema catturando il valore di una singola parola incorporandola nella struttura dell'intero corpus visibile. Per fare ciò, il modello cerca le corrispondenze del conteggio globale delle parole e utilizza statistiche sufficienti, riduce al minimo la deviazione standard, produce uno spazio vettoriale di parole con una sottostruttura ragionevole. Un tale schema consente sufficientemente di identificare la somiglianza di una parola con una distanza vettoriale.

Oltre a questi due modelli, hanno trovato applicazione molte tecnologie sviluppate di recente: FastText, Poincare Embeddings, sense2vec, Skip-Thought, Adaptive Skip-Gram.

Traduttore automatico

La traduzione automatica è la trasformazione del testo in una lingua naturale in un testo equivalente nel contenuto in un'altra lingua. Questo viene fatto da un programma o da una macchina senza l'intervento umano. La traduzione automatica utilizza le statistiche sull'utilizzo delle parole vicine. I sistemi di traduzione automatica sono ampiamente utilizzati a livello commerciale, poiché le traduzioni dalle lingue del mondo sono un settore con un volume di $ 40 miliardi all'anno.

I sistemi di traduzione automatica tradizionali devono utilizzare un corpus parallelo, un insieme di testi, ciascuno dei quali è tradotto in una o più lingue. Ad esempio, avendo una lingua di partenza f (francese) e una lingua di destinazione e (inglese), è necessario costruire un modello statistico che includa una formulazione probabilistica per la regola di Bayes, un modello di traduzione p (f | e) addestrato su un corpus parallelo, e un modello linguistico p (e), addestrato solo sul corpus con l'inglese.

Inutile dire che questo approccio manca di centinaia di dettagli importanti, richiede un gran numero di funzionalità progettate a mano e consiste in problemi di apprendimento automatico diversi e indipendenti, come in doctranslator.

La traduzione automatica neurale è un approccio alla traduzione di modelli utilizzando una rete neurale ricorrente (RNN). RNN è una rete neurale con dipendenza da stati precedenti, in cui ha connessioni tra passaggi. I neuroni ricevono informazioni dai livelli precedenti, nonché da se stessi nel passaggio precedente. Ciò significa che l'ordine in cui i dati vengono inseriti e la rete viene addestrata è importante: il risultato dell'archiviazione Donald-Trump non corrisponde al risultato dell'archiviazione Trump-Donald.

Il modello di traduzione neuro-macchina standard è una rete neurale end-to-end in cui la frase di origine è codificata da un RNN chiamato codificatore e la parola di destinazione viene prevista utilizzando un altro RNN chiamato decodificatore. Il codificatore "legge" la frase originale alla velocità di un carattere per unità di tempo, quindi combina la frase originale nell'ultimo livello nascosto. Il decodificatore utilizza la propagazione dell'errore per apprendere questa unione e restituisce la versione tradotta. Sorprendentemente, ai margini dell'attività di ricerca nel 2014, la traduzione automatica neurale è diventata lo standard di traduzione automatica nel 2016.