2. Table Models

Dank KI können die trainierbaren Table Models tabellarische Layouts in Ihren historischen Dokumenten erkennen und so die Extraktion von Daten sowie den Export in Tabellen vereinfachen.

Mit unseren Table Models wird der Digitalisierungsprozess effizienter und benutzerfreundlicher. Sie können Ihre Table Models an Ihre einzigartigen Dokumente anpassen, indem Sie festlegen, wie Tabellen erkannt und Daten extrahiert werden.  In diesem Artikel wird erklärt, wie Sie ein leistungsstarkes Table Model trainieren und anwenden.

Trainieren eines Table Models

Verwendung des trainierten Table Models

Wenn Ihr Dokument Tabellen enthält, sollten deren Häufigkeit und Layout im Transkribus-Workflow berücksichtigt werden:

• Kommen die Tabellen im gesamten Band oder auf einer Vielzahl von Seiten immer wieder mit derselben oder einer ähnlichen Struktur vor, empfiehlt es sich, ein Table Model zu trainieren, wie im Folgenden beschrieben.
• Gibt es hingegen nur wenige Tabellen oder sind diese im Text eingebettet, können Sie sie mithilfe der Editor-Funktionen händisch einzeichnen (nur Schritte 1 bis 3 von Schritt 1 - Vorbereitung der Trainingsdaten).
  
  

Trainieren eines Table Models

Schritt 1: Vorbereitung der Trainingsdaten

Table Models stellen keine All-in-One- oder Out-of-the-box-Lösung dar. Sie müssen auf einem bestimmten Dokument oder einer spezifischen Collection trainiert werden, um das darin enthaltene Tabellenlayout erkennen zu können. Mit genug Trainingsdaten können Table Models jedoch auch darauf trainiert werden, eine gewisse Anzahl unterschiedlicher Tabellentypen gleichzeitig zu erkennen.

Was für Trainingsdaten benötigt werden, hängt von der Art der Tabelle(n) ab. Wir empfehlen, ein Set aus dem gesamten Band/der gesamten Collection auszuwählen, statt nur die ersten paar Seiten zu berücksichtigen, um mehr Vielfalt zu gewährleisten und ein robusteres Modell zu trainieren.

• Einfache Tabellen: 20 Seiten Ground Truth
• Komplexe Tabellen (unregelmäßige Zeilen, schiefe Tabellen, Tabellen, die sich über zwei leicht versetzte Seiten erstreckende etc.): 50 Seiten Ground Truth
• Kombination unterschiedlicher Tabellen: zwischen 50 und 100 Seiten Ground Truth, je nach Anzahl der Tabellen

Table Models können sogar im Fall von nicht sichtbaren Trennzeichen (zur Definition von Zeilen und Spalten) oder unterschiedlich hohen Zeilen trainiert werden. Sie haben jedoch Schwierigkeiten, sehr schmale Zeilen und Spalten zu erkennen, was die Wahrscheinlichkeit erhöht, dass diese übersehen werden. Table Models können auch leicht schiefe Tabellen verarbeiten.

Anschließend an die Auswahl der Seiten für die Trainingsdaten müssen Sie die Tabellen händisch einzeichnen. Folgende Schritte sind dazu notwendig:

1. Klicken Sie auf „Add a Table“ im linken Menüband des Transkribus-Editors. Klicken Sie in das Bild, um mit dem Zeichnen der Tabelle zu beginnen. Klicken Sie erneut, um den Vorgang zu beenden. 
   
   
2. Um Spalten zu erstellen, wählen Sie die Tabelle aus und halten Sie die V-Taste gedrückt, während Sie den Cursor über die Seite bewegen. Klicken Sie an den Stellen, an denen Sie eine Spalte hinzufügen möchten. 
   
   
3. Um Zeilen zu erstellen, wählen Sie die Tabelle aus und halten Sie die H-Taste gedrückt, während Sie den Cursor über die Seite bewegen. Klicken Sie an den Stellen, an denen Sie eine Zeile hinzufügen möchten. Fahren Sie damit fort, bis alle Zellen markiert sind.
   
   
4. Speichern Sie die Seite als Ground Truth und wechseln Sie zur nächsten.

Gut zu wissen:

• Um Spalten und Reihen in einem benutzerdefinierten Winkel zu zeichnen, wählen Sie die Tabelle aus, halten Sie die C-Taste gedrückt und verwenden Sie die Pfeiltasten, um den Winkel anzupassen.
  Um noch präzisere Winkel zu zeichnen, halten Sie Strg+C gedrückt und verwenden Sie die Pfeiltasten.
• Ist das Tabellenlayout auf mehreren Seiten ähnlich, können Sie die Tabellenstruktur per Copy-and-Paste von einer Seite auf die nächste übertragen. Wählen Sie dazu einfach die Tabelle aus, drücken Sie Strg+C, wechseln Sie zur nächsten Seite und drücken Sie Strg+V. Denken Sie anschließend daran, die Tabelle an das Bild anzupassen.
  Wir empfehlen, diesen Schritt nach dem Erstellen der Spalten, aber noch vor dem Zeichnen der Zeilen durchzuführen, da sich die Zeilen häufiger von Seite zu Seite unterscheiden. Eine manuelle Anpassung könnte mehr Zeit in Anspruch nehmen.
• Table Models können darauf trainiert werden, bestimmte Spalten zu ignorieren, mehrere Spalten als eine zu behandeln oder sogar Spalten/Zeilen zu erstellen, wenn diese nur durch Leerzeichen getrennt sind, ohne sichtbare Trennzeichen. Eine konsistente Ground Truth und eine ausreichende Anzahl an Seiten, die alle Fälle abdecken, die das Modell erkennen soll, sind dazu unerlässlich.

Schritt 2: Trainieren des Table Models

1. Wechseln Sie zum Model-Tab in der rechten oberen Ecke, klicken Sie auf „Train a New Model“ und wählen Sie „Table Model“ aus.
   
2. Öffnen Sie die Collection, die Ihre Trainingsdaten enthält.
3. Auswahl der Trainingsdaten: Wählen Sie die Dokumente oder Seiten mit den von Ihnen eingezeichneten Tabellen aus, die Sie für das Training Ihres Table Models verwenden möchten. Sie können entweder die neuesten Transkriptionen oder nur die als Ground Truth gespeicherten Dokumente und Seiten verwenden.
4. Auswahl der Validierungsdaten: Standardmäßig legt Transkribus 10% Ihres Datensets als Validierungsdaten fest. Wir empfehlen, diese Einstellung beizubehalten. Alternativ können Sie spezifische Seiten aber auch manuell als Validierungsdaten auswählen.
5. Modell-Setup: Füllen Sie die folgenden Felder aus:
   • Modellname: Geben Sie ihrem Modell einen Namen.
   • Beschreibung: Beschreiben Sie kurz, wofür das Modell trainiert wurde.
   • Vorschaubild: Optional können Sie ein Bild als Vorschau Ihres Modells hinzufügen.
6. Erweiterte Einstellungen (optional):
   Für die ersten Trainings empfiehlt es sich, diese Parameter nicht zu ändern und die voreingestellten erweiterten Optionen beizubehalten, da diese sich für die meisten Szenarien als effektiv erwiesen haben.
   
   
   • Trainingszyklen (standardmäßig 5000; zwischen 1000 und 10.000 sind empfohlen):
     Diese Zahl gibt an, wie oft das Modell die Trainingsdaten durchläuft, um daraus zu lernen und entsprechend Anpassungen vorzunehmen. Je höher die Anzahl der Durchgänge, desto genauer wird das Modell, aber auch das Risiko einer Überanpassung (Overfitting) steigt.
   • Lernrate (standardmäßig 0,0001; zwischen 0,0001 und 0,05 sind empfohlen):
     Die Lernrate wirkt sich darauf aus, wie schnell das Modell sich an die Daten anpasst. 
7. Überprüfen Sie alle vorgenommenen Einstellungen und Eingaben. Sobald Sie zufrieden sind, können Sie den Trainingsprozess starten.
8. Überprüfen Sie den Fortschritt des Trainings über die Schaltfläche „Jobs“ rechts oben in der Menüleiste. Klicken Sie auf „Open Full Jobs Table“, um die Details zum Job anzuzeigen. Zeigt der Job-Status „Created“ an, können Sie in der Beschreibung sehen, wie viele Trainings vor Ihrem durchgeführt werden.

Verwendung des trainierten Table Models

Schritt 1: Auswahl der Dokumente für die Erkennung

Öffnen Sie nach Abschluss des Trainings Ihres Table Models den Transkribus-Desk und wählen Sie die Dokumente oder Seiten aus, die erkannt werden sollen.

Schritt 2: Tabellenerkennung

1. Klicken Sie auf „Recognise“.
2. Wählen Sie oben im Erkennungsbereich die Option „Table“.
3. Wählen Sie Ihr neu trainiertes Table Model aus der Liste Ihrer privaten Modelle aus.
4. Starten Sie die Erkennung.
   
   

Schritt 3: Layouterkennung (Erkennung der Baselines)

Sobald die Tabellenstruktur auf allen Seiten erkannt wurde, sollte die automatische Layouterkennung durchgeführt werden, um automatisch Baselines (Grundlinien) hinzuzufügen.

Vergessen Sie nicht, die folgenden erweiterten Einstellungen anzuwenden:

• „Keep existing text regions“: Damit werden nur die Baselines innerhalb der bereits erkannten Tabellen berücksichtigt.
• „Split lines on region borders“: Damit überschreiten die Baselines nicht die Zellenränder, und nahe beieinanderliegende Zeilen, die zu unterschiedlichen Zellen gehören, werden nicht miteinander verbunden.

Je nach Dokument könnte es notwendig sein, zusätzliche Anpassungen der erweiterten Layouteinstellungen vorzunehmen. Bitte konsultieren Sie diese Seite, um eine umfassende Übersicht aller erweiterten Layouteinstellungen zu erhalten.

Falls Zeilen, die sich über mehrere Zellen erstrecken, geteilt werden, können Sie diese verbinden. Zunächst müssen Sie sie in dieselbe Zelle verschieben. Öffnen Sie dazu den Layout-Baum mit einem Klick auf den Layout-Button im Menü auf der rechten Seite, und wählen Sie im Bild die Zeile aus, die sich in der falschen Zelle befindet. Im Layout-Fenster wird automatisch die entsprechende Zeile markiert. Ziehen Sie die markierte Zeile innerhalb des Layout-Baums in die richtige Zelle (wahrscheinlich die vorherige oder die darauffolgende). Nun befinden sich beide Zeilen in derselben Zelle und Sie können sie verbinden. Halten Sie dazu Strg gedrückt, wählen Sie beide Zeilen aus und drücken Sie M.

Schritt 4: Texterkennung

Wählen Sie das passendste Texterkennungsmodell für die automatische Transkription des Inhalts Ihrer Tabellen, wie auf dieser Seite erklärt. 

Transkribus eXpert (veraltet)

Wenn Sie die gedruckten oder handgezeichneten Tabellen im Transkribus Table Editor segmentieren, werden Ihrem Bild grafische Linien hinzugefügt und dem Layout Ihrer Dokumente eine Tabellenstruktur zugewiesen.

Momentan müssen Tabellen noch händisch im Transkribus Table Editor gezeichnet werden. Weisen jedoch mehrere Seiten dieselbe Tabellenstruktur auf, kann das Tabellen-Markup auf der ersten Seite erfolgen und dann auf die restlichen Seiten übertragen werden.

Erstellen Sie zunächst Textregionen für alle Informationen, die nicht zur Tabelle gehören.
Damit sind jene Informationen gemeint, die sich an den Seitenrändern befinden und offensichtlich nicht Teil der Tabelle sind, wie Seitenzahlen, Zeilennummern, Daten und andere Notizen und Anmerkungen.

Dann können Sie die Tabelle erstellen. Wählen Sie dazu im Canvas-Menü „Add other item“ aus und dann „Add a table“. Klicken Sie auf die obere linke Ecke der Tabelle im Bild und dann auf die rechte untere.

Sie können Ihre Tabelle nun in Zeilen und Spalten segmentieren. Stellen Sie vorher sicher, dass Sie sich im Auswahlmodus befinden. Drücken Sie dazu die ESC-Taste oder klicken Sie auf „Selection mode“ im Hauptmenü. Klicken Sie dann auf die Tabelle, die Sie erstellt haben.

Um Zeilen zu erstellen, klicken Sie auf den H-Button im Canvas-Menü. Bewegen Sie den Cursor über die Seite und klicken Sie an den Stellen, an denen Sie eine horizontale Linie hinzufügen möchten.
Um Spalten zu erstellen, klicken Sie auf den V-Button im Canvas-Menü. Bewegen Sie den Cursor über die Seite und klicken Sie an den Stellen, an denen Sie eine vertikale Linie hinzufügen möchten. Fahren Sie fort, bis alle Tabellenzellen markiert sind.

Es kann erforderlich sein, Zellen zu verbinden, um solche Zellen zu berücksichtigen, die sich über mehrere Zeilen oder Spalten erstrecken. Um Zellen für diesen Vorgang auszuwählen, halten Sie Strg/Cmd gedrückt und klicken Sie auf die betreffenden Zellen in Ihrer Tabelle. Klicken Sie dann auf „Merges the selected shapes“ im Canvas-Menü. Bitte beachten Sie, dass Tabellen mit verbundenen Zellen nicht als Ground Truth für das Training eines Table Models verwendet werden sollten.

Liegt Ihnen eine perfekte Tabellensegmentierung am Herzen, könnte es notwendig sein, die Formen einiger Zellen in Ihrer Tabelle zu korrigieren. Die segmentierten grünen Linien sollten so weit wie möglich mit den Rahmenlinien Ihrer Tabelle übereinstimmen. Wählen Sie dafür die Zelle aus, die Sie bearbeiten möchten und ziehen Sie die grünen Punkte an die richtige Position.

Je nach Layout Ihrer Tabelle kann es sinnvoll sein, den Buchrücken wie eine zusätzliche Spalte zu behandeln. Sie können dieser Spalte auf Zellenebene im Reiter „Metadata/Structural“ auch den Tag „book-binding“ zuweisen.

Ist das Tabellenlayout auf mehreren Seiten ähnlich, können Sie das Tabellenformat von einer Seite auf andere übertragen. Öffnen Sie dazu das Fenster „Other segmentation tools“ im Canvas-Menü. Wählen Sie dann „Copy regions (texts or tables) to other pages“ aus, legen Sie im angezeigten Fenster die Seiten fest, auf die das Layout übertragen werden soll und bestätigen Sie den Vorgang mit einem Klick auf „OK“. Das Tabellenlayout wird auf die angegebenen Seiten kopiert. Um das Tool tatsächlich auszuführen, deaktivieren Sie die Option „Dry run“. Es könnte sein, dass die Position der Tabelle auf den neuen Seiten korrigiert werden muss. Wählen Sie dazu die gesamte Tabelle aus und verschieben Sie sie, indem Sie Strg + Umschalt auf Ihrer Tastatur gedrückt halten.

Vor der manuellen oder automatischen Transkription der Tabelle müssen zunächst noch Baselines (Grundlinien) hinzugefügt werden. Die Baselines sollten dem logischen Textfluss folgen und können daher, falls erforderlich, über die Zellgrenzen hinaus verlaufen. Sie können die Baselines entweder händisch einzeichnen oder die automatische Layoutanalyse verwenden.

Die automatische Layoutanalyse hält sich strikt an die Zellgrenzen in der Tabelle. Baselines, die sich über mehrere Zellen erstrecken, werden geteilt. Sie können diese geteilten Baselines jedoch verbinden. Dazu müssen sie zunächst in dieselbe Zelle verschoben werden. Dann können Sie sie auswählen und mit dem Merging-Tool verbinden. Wechseln Sie hierzu zum Reiter „Layout“ in der Tools&Managing-Leiste und wählen Sie im Bild die Zeile aus, die sich in der falschen Zelle befindet. Im Layout-Baum wird automatisch die entsprechende Zeile markiert. Ziehen Sie die markierte Zeile innerhalb des Layout-Baums in die richtige Zelle (wahrscheinlich die vorherige oder die darauffolgende). Nun befinden sich beide Zeilen in derselben Zelle und Sie können sie verbinden, indem Sie auf „Merges the selected shapes“ im Canvas-Menü klicken. Passen Sie Ihre Table Models an Ihre Dokumente an, indem Sie festlegen, wie Tabellen erkannt und Daten extrahiert werden. Durch ein individuell angepasstes Training können Table Models Spalten, Zeilen, Kopfzeilen, Datenzellen und vieles mehr erkennen.