Il Character Error Rate misura l'efficacia del modello; il grafico della curva di apprendimento mostra come il modello ha imparato durante l'addestramento
Fase precedente: Setup e addestramento del modello
Character Error Rate
La performance di un modello è determinata in base alla "distanza" tra una trascrizione perfetta (il vostro Ground Truth) e il testo riconosciuto automaticamente ed è misurata dal Character Error Rate (CER).
Il Character Error Rate è la percentuale di caratteri trascritti in modo errato dal modello di riconoscimento del testo.
Ad esempio, un CER del 5% significa che il modello di testo ha trascritto automaticamente in modo corretto 95 caratteri su 100, mentre ha sbagliato a leggere solo 5 caratteri.
Il CER che vedete tra i dettagli del modello nel Gestore modelli è misurato sulle pagine dei Dati di convalida e mostra come il modello di riconoscimento del testo si comporta su pagine su cui non è stato addestrato.
I risultati con un CER del 10% o inferiore possono essere considerati molto efficienti per la trascrizione automatica. Tuttavia, se applicato su scritture non viste durante l'addestramento o su appunti scarabocchiati, il modello potrebbe avere prestazioni peggiori. I risultati con un CER del 20-30% sono sufficienti per lavorare con strumenti di ricerca potenti come Smart Search.
Un buon CER per il testo stampato è compreso tra lo 0,5 e il 2%, mentre per documenti manoscritti varia tra il 2 e l'8%, a seconda che il modello sia stato addestrato su una o più mani.
Curva di apprendimento
Il grafico della "curva di apprendimento" indica l'accuratezza del modello. Aprite la descrizione del modello per vederlo.
L'asse delle ordinate rappresenta il tasso di errore dei caratteri. La curva si abbassa man mano che l'addestramento procede e il modello migliora.
L'asse delle ascisse rappresenta le epochs, cioè l'avanzamento dell'allenamento. Durante il processo di addestramento, Transkribus effettua una valutazione dopo ogni epoc.
Nella figura seguente sono state addestrate 109 epoche. In questo caso, il numero massimo di epoche era stato impostato a 250, ma l'addestramento è stato automaticamente interrotto a 109 perché il modello non migliorava più.
Il grafico mostra due linee, una in blu e una in verde. La linea blu rappresenta il progresso dell'addestramento. La linea verde rappresenta l'avanzamento delle valutazioni sui dati di convalida. La CER di validazione è più rappresentativa perché mostra come il modello dovrebbe comportarsi su nuove pagine non viste durante l'addestramento.
Prossima sezione: Calcolare l'accuratezza
Transkribus eXpert (deprecato)
Character Error Rate
Le prestazioni di un modello sono determinate in base alla "distanza" tra una trascrizione perfetta (la vostra Ground Truth) e il testo riconosciuto automaticamente. È misurato dal Character Error Rate (CER), cioè dalla percentuale di caratteri trascritti in modo errato dal modello di riconoscimento del testo.
Nei dettagli del modello, si vede il CER sia sul set di allenamento che su quello di convalida.
Il CER più rappresentativo è quello misurato sul Validation Set perché mostra come il modello si comporta su pagine su cui non è stato addestrato.
I risultati con un CER del 10% o inferiore possono essere considerati molto efficienti per la trascrizione automatica. Tuttavia, se applicato a mani non viste durante l'addestramento o a note scarabocchiate, il modello potrebbe avere prestazioni peggiori. I risultati con un CER del 20-30% sono sufficienti per lavorare con strumenti di ricerca potenti come Smart Search.
Curva di apprendimento
Il grafico della "Curva di apprendimento" indica l'accuratezza del modello.
L'asse delle ordinate rappresenta il tasso di errore dei caratteri. La curva si abbassa con il progredire dell'addestramento e il miglioramento del modello.
L'asse delle ascisse rappresenta le epoche, cioè l'andamento dell'allenamento. Durante il processo di addestramento, Transkribus effettua una valutazione dopo ogni epoca.
Nella figura sottostante, sono state addestrate 109 epoche. In questo caso, il numero massimo di epoche è stato impostato a 250, ma l'addestramento è stato interrotto automaticamente a 109 perché il modello non migliorava più.
Il grafico mostra due linee, una in blu e una in rosso. La linea blu rappresenta il progresso della formazione. La linea rossa rappresenta l'avanzamento delle valutazioni sul set di validazione.