Normalizzazione del corpus

In T-LAB , la normalizzazione del corpus ha un duplice obiettivo:

a) consentire una corretto riconoscimento delle parole come forme grafiche.

b) risolvere preliminarmente alcuni casi di ambiguità.

Ciò comporta che T-LAB, in primo luogo, effettua una serie di trasformazioni del file in analisi: eliminazione di spazi vuoti in eccesso, marcatura degli apostrofi, aggiunta di spazi dopo i segni di interpunzione, riduzione delle maiuscole, etc.

In secondo luogo, T-LAB marca una serie di stringhe riconosciute come nomi propri (di persone e luoghi); quindi trasforma le sequenze di forme grafiche riconosciute come locuzioni o multiwords in stringhe unitarie da utilizzare come tali nel processo di analisi ( "nella misura in cui" e "il punto di vista" diventano quindi rispettivamente "nella_misura_in_cui" e "il_punto_di_vista).

I parametri di queste operazioni non sono modificabili dall'utilizzatore.

Nella fase di normalizzazione, per il corretto riconoscimento delle forme grafiche,
in T-LAB viene utilizzata la seguente lista di separatori:

, ; : . ! ? ' " ( ) < > + / = [ ] { }