
<TEI xmlns="http://www.tei-c.org/ns/1.0" xmlns:h="http://www.w3.org/1999/xhtml">
  <teiHeader xml:lang="de">
    <fileDesc>
      <titleStmt>
        <title type="main">Preprocessing</title>
        <author>
          <persName>
            <forename>Selina</forename>
            <surname>Galka</surname>
          </persName>
        </author>
        <respStmt>
          <resp>Projektleitung</resp>
          <persName>
            <forename>Helmut W.</forename>
            <surname>Klug</surname>
          </persName>
        </respStmt>
        <respStmt>
          <resp>Datenmodellierung</resp>
          <persName>
            <forename>Selina</forename>
            <surname>Galka</surname>
          </persName>
        </respStmt>
        <respStmt>
          <resp>Datenmodellierung</resp>
          <persName>
            <forename>Elisabeth</forename>
            <surname>Steiner</surname>
          </persName>
        </respStmt>
        <funder>Bundesministerium für Wissenschaft, Forschung und Wirtschaft </funder>
      </titleStmt>
      <publicationStmt>
        <publisher>
          <orgName corresp="https://informationsmodellierung.uni-graz.at" ref="http://d-nb.info/gnd/1137284463">Zentrum für
                  Informationsmodellierung - Austrian Centre for Digital Humanities,
                  Karl-Franzens-Universität Graz</orgName>
          <country>Austria</country>
        </publisher>
        <authority>
          <orgName corresp="https://informationsmodellierung.uni-graz.at" ref="http://d-nb.info/gnd/1137284463">Zentrum für
                  Informationsmodellierung - Austrian Centre for Digital Humanities,
                  Karl-Franzens-Universität Graz</orgName>
          <country>Austria</country>
        </authority>
        <distributor>
          <orgName ref="https://gams.uni-graz.at">GAMS - Geisteswissenschaftliches Asset
                  Management System</orgName>
        </distributor>
        <availability>
          <licence target="https://creativecommons.org/licenses/by-nc/4.0">Creative Commons
                  BY-NC 4.0</licence>
        </availability>
        <date when="2024">2024</date>
        <pubPlace>Graz</pubPlace>
        <idno type="PID">o:konde.241</idno>
      </publicationStmt>
      <seriesStmt>
        <title ref="http://gams.uni-graz.at/konde">KONDE Weißbuch</title>
        <respStmt>
          <resp>Projektleitung</resp>
          <persName>
            <forename>Helmut W.</forename>
            <surname>Klug</surname>
          </persName>
        </respStmt>
      </seriesStmt>
      <sourceDesc>
        <bibl>
          <title>Weißbuchartikel: Preprocessing</title>
          <author>Selina Galka</author>
          <publisher>
                    Herausgegeben von Helmut W. Klug unter Mitarbeit von Selina Galka und Susanne Höfer
                </publisher>
          <date>2024</date>
          <country>Austria</country>
        </bibl>
      </sourceDesc>
    </fileDesc>
    <encodingDesc>
      <projectDesc>
        <ab>
          <ref target="context:konde" type="context">KONDE Weißbuch</ref>
        </ab>
        <p>Im KONDE-Projekt, das aus Hochschulraumstrukturmitteln finanziert wird, beschäftigten
               sich sieben universitäre Partner und drei weitere Einrichtungen aus unterschiedlichen
               Blickwinkeln mit theoretischen und praktischen Aspekten der Digitalen Edition. Ein
               Outcome des Projektes stellt das Weißbuch dar, welches über 200 Artikel zum Thema
               Digitale Edition umfasst. Die behandelten Themenkomplexe reichen dabei über Digitale
               Editionswissenschaft im Allgemeinen, Annotation und Modellierung, Interfaces,
               Archivierung und Metadaten bis hin zu rechtlichen Aspekten.</p>
      </projectDesc>
    </encodingDesc>
    <profileDesc>
      <langUsage>
        <language ident="de">Deutsch</language>
      </langUsage>
    </profileDesc>
  </teiHeader>
  <text xml:lang="de">
    <body>
      <div>
        <head>Preprocessing</head>
        <div>
          <head>Galka, Selina; selina.galka@uni-graz.at</head>

          <p>Preprocessing bezieht sich auf den Prozess der Vorbereitung von Rohdaten bzw. im
                  Bezug auf <ref target="/o:konde.59" type="internal">Digitale Editionen</ref> von
                  Textdaten, um sie für eine spätere Analyse oder Verarbeitung vorzubereiten und ist
                  Grundlage für viele Forschungsarbeiten im Bereich der digitalen
                  Geisteswissenschaften. Es kann auch die weitere Bearbeitung der Texte erleichtern,
                  indem gewisse Schritte automatisiert werden. </p>

          <p>Im Zuge der Erstellung digitaler Editionen wird zunächst das Originalmanuskript
                  oder der Text in ein maschinenlesbares Format (z.B. <ref target="/o:konde.79" type="internal">TEI/XML</ref>) transformiert. Dies kann manuelle oder
                  automatisierte Prozesse umfassen, abhängig vom Zustand und der Lesbarkeit des
                  Quellenmaterials. Besonders wenn Texte automatisiert verarbeitet werden, z. B.
                  mittels <ref target="/o:konde.149" type="internal">OCR</ref> oder <ref target="/o:konde.224" type="internal">HTR</ref>, kann das Preprocessing hier
                  das Bereinigen von Junk/Noise, irrelevanten Daten oder kaputtem Encoding,
                  umfassen; außerdem auch das eventuelle Entfernen von überflüssigen Elementen aus
                  dem Text, wie Überschriften, Fußnoten oder Seitenzahlen.</p>

          <p>Preprocessing kann auch die erste automatisierte Vereinheitlichung (z. B. von
                  Datumsangaben), <ref target="/o:konde.146" type="internal">Normalisierung</ref>
                  oder Annotation (z. B. mittels Suchen &amp; Ersetzen oder <ref target="/o:konde.242" type="internal">regulärer Ausdrücke</ref>) von Textphänomenen umfassen.
                  Preprocessing ist auch im Hinblick auf <ref target="/o:konde.194" type="internal">Text Mining</ref> oder <ref target="/o:konde.48" type="internal">Data
                     Mining</ref> ein wichtiger vorbereitender Schritt, um sinnvolle Ergebnisse zu
                  erhalten – ganz nach dem Prinzip “garbage in, garbage out”. So sollten z. B. bei
                  der Anwendung von <ref target="/o:konde.229" type="internal">Topic Modelling</ref>
                  Stoppwörter aus den zu verarbeitenden Texten entfernt werden. Wenn das
                  Quellenmaterial Bilder, Fotografien oder Illustrationen enthält, kann das
                  Preprocessing Aufgaben wie Bildverbesserung, Zuschneiden, Ändern der Größe oder
                  Optimierung der Bildqualität für eine bessere Anzeige in der digitalen Ausgabe
                  umfassen.</p>
          <p>Preprocessing-Schritte sind wichtige Elemente von <ref target="/o:konde.264" type="internal">Editions-Pipelines</ref>.</p>
          <div type="subsection" xml:id="links">
            <list>
              <item>
                <ref target="/o:konde.242" type="internal">Reguläre Ausdrücke</ref>
              </item>
              <item>
                <ref target="/o:konde.59" type="internal">Digitale Edition</ref>
              </item>
              <item>
                <ref target="/o:konde.149" type="internal">OCR</ref>
              </item>
              <item>
                <ref target="/o:konde.224" type="internal">HTR</ref>
              </item>
              <item>
                <ref target="/o:konde.146" type="internal">Normalisierung</ref>
              </item>
              <item>
                <ref target="/o:konde.48" type="internal">Data Mining</ref>
              </item>
              <item>
                <ref target="/o:konde.194" type="internal">Text Mining</ref>
              </item>
              <item>
                <ref target="/o:konde.229" type="internal">Topic Modelling</ref>
              </item>
              <item>
                <ref target="/o:konde.264" type="internal">Pipeline</ref>
              </item>
            </list>
          </div>
          <div type="subsection" xml:id="topics">
            <list> 
             <item>Digitalisierung</item>
              <item>Datenanalyse</item>
            </list>
          </div>
        </div>
      </div>
    </body>
  </text>
</TEI>
