Dateneingabe-Validierung mit KI - Dreifachboost für Datenkonsistenz und Anwenderfreundlichkeit (2/3)

Im ersten Teil der Blogserie wurde berichtet, wie die Auto-Vervollständigung mit Hilfe Künstlicher Intelligenz messbare Verbesserungen der Datenkonsistenz und der Anwenderfreundlichkeit erzielt. Doch allein durch die Auto-Vervollständigung ist die Richtigkeit eines Datensatzes noch nicht vollumfänglich gesichert. Ohne weitergehende Prüfung könnten Einheiten verwechselt oder Zellen vertauscht und fehlerhaft in eine Datenbank übertragen werden. Hier setzt die Dateneingabe-Validierung auf KI-Basis an, die eine vollautomatisierte syntaktische sowie semantische Überprüfung der Daten sicherstellt.

Was ist die Herausforderung?

Als fester Bestandteil verschiedenster Geschäftsprozesse sind Formulare mit vielen  Eingabefeldern sehr verbreitet. Bei all den Datenmengen im alltäglichen Geschäft den Überblick zu behalten, stellt für die Bearbeiter solcher Formulare eine große Herausforderung dar. So können im Laufe der Zeit Fehler in den eingegebenen Daten entstehen und weitreichende Folgen für nachfolgende Prozesse mit sich bringen.

Wirtschaftliche Auswirkungen: Ein Praxisbeispiel

Mögliche Fehler schleichen sich beispielsweise bei der Erfassung eines Verkaufsvertrags ein. Hier kann es vorkommen, dass bei der Eingabe der vereinbarten Menge anstatt Kilogramm fälschlicherweise Tonnen ausgewählt wird und das Komma bei der Preisangabe um eine Stelle nach vorn verrutscht. Bei der späteren Ausführung des erfassten Vertrags ohne vorherige Datenvalidierung wird anschließend eine viel zu große Menge (Faktor 1000) zu einem viel zu geringen Preis (Faktor 0,1) verkauft.

An dieser Stelle setzen die meisten Unternehmen Kontrollstellen ein, die ganze Formulare auf ihre Richtigkeit prüfen, bevor diese in eine Datenbank übertragen werden. Dieser Vorgang nimmt jedoch viel Zeit in Anspruch und ist aus mehreren Gründen weiterhin fehleranfällig.

Ziel ist es, einen hohen Automatisierungsgrad zu erreichen, um die Richtigkeit der Daten zu garantieren und das Risiko von Inkonsistenzen zu minimieren.

Auf welchen Regeln basiert heute die Überprüfung von Eingabedaten?

Die manuelle Prüfung aller Eingaben durch eine Kontrollstelle ist in den meisten Unternehmen wirtschaftlich nicht realisierbar. Daher werden die zu prüfenden Datensätze von Eingabeformularen zunächst vorgefiltert, damit sich die Prüfer auf Fehler mit großen Folgewirkungen konzentrieren können. Hierbei erfolgt häufig die Anwendung regelbasierter Systeme. Diese suchen bei den Eingabedatensätzen nach fest definierten Anomalien, indem zumeist Schwellenwertprüfungen durchgeführt werden.

Überschreitet beispielsweise ein eingetragenes Gewicht den Wert von einer Tonne, gibt es eine Prüfung der Eingabedaten in der Kontrollstelle. Dies stellt zunächst sicher, dass große Aufträge auf ihre Richtigkeit hin geprüft werden. Gibt es jedoch keine Prüfregel für den Preis, kann das Ausmaß eines Schadens groß ausfallen. Zum Beispiel, wenn mehrere hundert Datensätze knapp unter einer Tonne mit zu geringen Preisen an der Kontrollstelle vorbei in die Datenbank übertragen werden.

Eine weitere Schwierigkeit stellen die strikten und starren Regelsysteme dar. Dies führt dazu, dass die Codebasis durch qualifizierte Entwickler kontinuierlich angepasst werden muss, um die Kontrollstelle weiterhin mit den relevanten Datensätzen zu versorgen.

Unternehmen benötigen einen Mechanismus, der Anomalien in den Strukturen der gesamten Datensätze selbsttätig erkennt und sich kontinuierlich an die aktuellen Gegebenheiten anpasst.

Wie hilft Künstliche Intelligenz bei der datengetriebenen Eingabeüberprüfung?

Für die meisten Geschäftsprozesse mit einer formularbasierten Erfassung von Daten existiert eine breite Basis historisierter Daten. Mit dem Einsatz von Qualitativem Labeln und maschinellem Lernen aus dem Deep Qualicision KI Framework lassen sich aus Vergangenheitsdaten prozessspezifische Strukturen in Eingabedatensätzen erlernen.

Dies kann sowohl allgemeingültig als auch benutzerabhängig erfolgen, um eine ideale Anpassbarkeit an jeden Prozess zu garantieren. Insbesondere zur Erkennung mehrstufiger Zusammenhänge in Daten - wie beispielsweise ein korrektes Verhältnis zwischen dem eingegebenen Gewicht und dem ausgewiesenen Preis - bieten datenbasierte Ansätze vielfältige Vorteile.

Was ist der Nutzen für das KI-Gesamtsystem?

Qualitatives Labeln und eine mittels maschinellen Lernens trainierte Wissensbasis aus historisierten Daten stellen die Grundlage für eine Validierung von Formulareingaben dar. Die Verbindung mit einem Regelsystem sollte nicht vernachlässigt werden, da sie sich für feste Abhängigkeiten zwischen Attributen weiterhin eignen.

Mit der Verwendung von Deep Qualicison wird zudem eine Entscheidungsunterstützung durch einfaches Präferieren verschiedener Bewertungsindikatoren (KPIs) ermöglicht. So lassen sich starke Abweichungen von Vorhersagen nachvollziehbar bewerten. Darüber hinaus garantiert die kontinuierliche Anpassung der Wissensbasis durch vollautomatisches Nachtrainieren neuer Daten eine ständige Aktualität des Kontrollmechanismus.

Ein KPI-basiertes selbstlernendes KI-Gesamtsystem bietet die Möglichkeit, auf Basis historisierter Daten und einer ständig wachsenden Wissensbasis einen Automatismus zur kontinuierlichen Kontrolle des Datenerfassungsprozesses bereitzustellen.

Auf diese Weise wird für die manuelle Prüfung sichergestellt, dass nur solche Datensätze zur Korrektur gefiltert werden, die entsprechende Anomalien enthalten, ohne dabei auf feste Eigenschaften - wie ein Mindestgewicht - festgelegt zu sein.

Wie geht's weiter?

Ein bereits im Betrieb befindliches System einer Auto-Vervollständigung lässt sich durch die Nutzung der Dateneingabe-Validierung erweitern. Auf diese Weise kann eine weitere messbare Steigerung für die Anwenderfreundlichkeit sowie die Datenkonsistenz erzielt werden.

Syntax und Semantik der Datensätze lassen sich aus historisierten Daten sowie parallel zur Dateneingabe und -kontrolle erlernen. Dies lässt sich unmittelbar für die Suche nach Duplikaten in vorhandenen Datenbanken nutzen.

Eine auf diese Weise erweiterte Wissensbasis dient somit im letzten Schritt zur Finalisierung des KI-Gesamtsystems durch Ergänzung einer automatisierten Duplikatenerkennung.

So entsteht ein weiterer Boost hinsichtlich Datenkonsistenz und Anwenderfreundlichkeit auf Basis von Deep Qualicision KI. Mehr zu dem Thema erfahren Sie im dritten Teil unserer Serie.

Serie: Dreifachboost für Datenkonsistenz und Anwenderfreundlichkeit

• Teil 1: Auto-Vervollständigung mit KI
• Teil 2: Dateneingabe-Validierung mit KI
• Teil 3: Duplikaten-Erkennung mit KI (folgt)