Textklassifikation – Vorverarbeitung der Daten Im vorherigen Beitrag haben wir uns mit den drei Fragen “Warum ist automatisierte Textklassifikation sinnvoll?”, “Wo kann Textklassifikation eingesetzt werden?” und “Was sind die Schritte von den Daten bis zur Klassifizierung?” beschäftigt. In diesem Blogbeitrag möchten wir den ersten Schritt genauer erläutern, den Daten in einem typischen Textklassifizierungsszenario durchlaufen: Die Datenvorverarbeitung (s. Abbildung 1). Als Beispiel dient uns ein Projekt, in dem deutschsprachige Zeitschriftenartikel klassifiziert werden. An ihm lassen sich…
In der heutigen Zeit entsteht eine gewaltige Menge an Daten, die von Menschen nicht in absehbarer Zeit verarbeitet werden können. Ein großer Teil davon sind Texte, in denen wertvolle Informationen stecken können. Mithilfe von Textklassifikation – ein Teilgebiet im Feld des Natural Language Processings, ist es möglich, große Volumen von unstrukturierten Textdaten auf verschiedene Weise zu organisieren und ihnen wichtige Informationen zu entnehmen. Dafür werden Machine-Learning-Modelle entwickelt, deren Ziel ist, einem neuen, noch nie gesehenen Text, eine Kategorie aus einer Gruppe von vorgegebenen Kategorien zuzuweisen. Ein gutes Beispiel für Textklassifikation ist die Spam-Filterung.