Es muss nicht immer ein LLM sein
Sprachmodelle sind der neue Hammer, und plötzlich sieht jedes Problem aus wie ein Nagel. Warum viele Entscheidungen im Unternehmen mit einfacheren Mitteln schneller, günstiger und sicherer zu automatisieren sind, und warum am Anfang immer die Problemanalyse steht.
Sprachmodelle sind der Hammer. Und plötzlich sieht jedes Problem aus wie ein Nagel.
Eingehende Mail der richtigen Abteilung zuordnen? LLM. Reklamation einer Kategorie zuordnen? LLM. Eine Beschwerde als dringend markieren? LLM, natürlich mit GPU-Server oder Cloud-Abo, Token-Rechnung und der Frage, ob die Kundendaten das Haus verlassen dürfen.
Dabei ist das alles Multiple Choice. Die Antwort steht schon fest, sie ist nur eine von wenigen Möglichkeiten: Vertrieb, Buchhaltung oder Service. Dringend oder nicht. Für eine solche Auswahl ist ein großes Sprachmodell eine sehr aufwendige und teure Lösung.
Was im Mittelstand wirklich anfällt
Wer sich die Abläufe in einem typischen mittelständischen Unternehmen ansieht, findet viele solcher Entscheidungen, oft hunderte am Tag:
- Wohin gehört diese Mail, diese Anfrage, dieser Anhang?
- Ist das eine Bestellung, eine Rückfrage oder eine Reklamation?
- Wie dringend ist der Vorgang?
- Welcher Kunde, welches Projekt, welche Kostenstelle?
Heute liest dafür meist ein Mensch jede einzelne Nachricht, nur um sie weiterzuleiten. Das kostet Zeit, und es ist genau die Art Arbeit, die niemand gern macht. Hier lohnt sich Automatisierung. Aber nicht zwingend mit dem größten verfügbaren Werkzeug.
Das unterschätzte Werkzeug: Ihre eigenen Entscheidungen
Für Dukehoff Decide, unsere Open-Source-Bibliothek für automatisierte Entscheidungen, haben wir in Version 0.2.0 deshalb etwas fast schon Altmodisches eingebaut: einen klassischen Klassifikator. Vereinfacht gesagt zählt er, welche Wörter in welchen Fällen vorkommen, und lernt daraus, wie ähnliche Fälle in der Vergangenheit entschieden wurden. Er braucht keine Grafikkarte, keinen Modellserver und keine Cloud. Er läuft auf dem Server, den Sie schon haben, und die Daten bleiben im Haus.
Was er braucht, sind Beispiele: Fälle, die schon von Menschen entschieden wurden. Und die liegen in den meisten Unternehmen längst vor. Jede Mail, die einmal an die richtige Abteilung weitergeleitet wurde, jede Reklamation, die eine Kategorie bekommen hat, ist ein solches Beispiel. Das ERP- oder Ticketsystem ist oft ein Archiv voller Trainingsdaten, das nur niemand so nennt.
Was das bringt
Wir haben den Klassifikator auf öffentlichen Datensätzen mit kleinen und mittelgroßen Sprachmodellen verglichen, alle auf demselben Notebook:
- Geschwindigkeit: Für eine Kundennachricht braucht der Klassifikator 27 Mikrosekunden, also weniger als eine Zehntausendstelsekunde. Das kleine Sprachmodell braucht gut eine Fünftelsekunde, das mittelgroße knapp eine Sekunde.
- Verlässlichkeit: Bei Verbraucherbeschwerden aus einem öffentlichen US-Datensatz entscheidet der Klassifikator die Hälfte der Fälle allein, und 97,3 % davon sind richtig. Die andere Hälfte gibt er an einen Menschen weiter, weil er sich nicht sicher genug ist. Das mittelgroße Sprachmodell entscheidet nur bei 23 % der Fälle allein, dort allerdings mit 98,5 % noch etwas genauer.
Das zweite Ergebnis ist das wichtigere. Eine gute Automatisierung entscheidet nicht alles, sondern weiß, wann sie unsicher ist, und gibt genau diese Fälle an einen Menschen ab. Dafür sorgt in Dukehoff Decide eine Kalibrierung: Erst wenn die Sicherheit des Modells auf echten Fällen geprüft ist, darf es allein entscheiden.
Die Details zu Messung und Einschränkungen stehen im Beitrag zu Version 0.2.0 (auf Englisch).
Und das Sprachmodell?
Der Klassifikator lernt nur aus Beispielen. Wo es nur ein paar hundert davon gibt oder die Fälle schwierig sind, ist ein Sprachmodell besser. Wie Sie anfangen, hängt deshalb davon ab, was schon da ist:
- Es gibt genug entschiedene Fälle im System: Dann kann der Klassifikator direkt daraus lernen. Ein Sprachmodell brauchen Sie gar nicht.
- Es gibt noch zu wenige: Dann gibt es zwei Wege.
- Ohne Sprachmodell: Die Mitarbeiter entscheiden vorerst weiter wie bisher, und das System zeichnet jede Entscheidung auf. Sobald genug Beispiele zusammengekommen sind, übernimmt der Klassifikator. Das ist der einfachste Weg, bis zur ersten Entlastung dauert es aber eine Weile.
- Mit Sprachmodell als Starthilfe: Ein kleines, lokal betriebenes Sprachmodell entscheidet die eindeutigen Fälle sofort, die unsicheren entscheiden weiterhin Menschen. Mit diesen Entscheidungen wird später der Klassifikator trainiert. So entlastet die Automatisierung vom ersten Tag an.
Den teuren neuen Hammer dürfen Sie also verwenden, wenn er sich lohnt. Im zweiten Fall baut er sich sogar seinen eigenen Akkuschrauber.
Erst das Problem, dann das Werkzeug
Die eigentliche Lehre geht über dieses Beispiel hinaus. Ob ein großes Sprachmodell, ein kleines lokales Modell, ein klassisches Statistikverfahren oder eine einfache Regel die richtige Lösung ist, entscheidet nicht der aktuelle Trend, sondern das Problem. Deshalb steht am Anfang jedes Vorhabens eine sorgfältige Analyse, mit Fragen wie diesen:
- Wie viele Fälle gibt es, und wie viel Zeit kosten sie heute?
- Gibt es schon entschiedene Fälle im System, aus denen sich lernen lässt?
- Was kostet ein Fehler? Eine falsch weitergeleitete Mail ist ärgerlich, eine falsch freigegebene Zahlung ist teuer.
- Dürfen die Daten das Haus verlassen?
- Muss eine Entscheidung nachvollziehbar sein, etwa gegenüber Kunden oder Prüfern?
- Wie schnell muss es gehen? In Echtzeit am Telefon, oder reicht einmal pro Stunde?
Aus den Antworten ergibt sich das passende Werkzeug. Oft ist es eine Kombination, und manchmal ist es gar keine KI, sondern eine gut gemachte Regel.
Wie wir Ihnen helfen
Genau das ist unsere Arbeit:
- Analyse: Wir sehen uns mit Ihnen die Abläufe an, finden die Entscheidungen, bei denen sich Automatisierung lohnt, und prüfen mit Ihren eigenen Daten, welches Werkzeug passt, bevor jemand Geld für eine große Lösung ausgibt.
- Pilot: Wir automatisieren einen Prozess, zum Beispiel die Zuordnung eingehender Mails, und messen, wie viel davon zuverlässig ohne Menschen geht.
- Integration und Betrieb: Wir bauen die Lösung in Ihre bestehende Software ein, auf Ihren Servern, wo die Daten im Haus bleiben müssen.
Mehr dazu auf unserer Seite zu den Leistungen. Oder schreiben Sie uns, welche Entscheidungen bei Ihnen heute noch von Hand getroffen werden: Kontakt.