Menschen gegen Bots im Kundensupport: Überlegungen zum Start des Unternehmensrennens um maschinelles Lernen für Bots

Es ist ein verstärkter Drumbeat zu hören, dass künstliche Intelligenz sich der Intelligenz auf menschlicher Ebene nähert. In diesem Beitrag untersuche ich die aktuellen Grenzen von Unternehmens-Bots der aktuellen Generation und ihren häufigsten Anwendungsfall, den Kundensupport.

Warum setzen Unternehmen die Technologie für diesen Anwendungsfall ein? Was haben wir bisher mit ihnen erlebt, worin sind sie gut? Was sind ihre Fehler im Vergleich zu Menschen?

Bisher waren Bots in Bezug auf die Produkte eines Unternehmens viel besser als Menschen. Sie verstanden die Sprache nur mittelmäßig und antworteten sehr schlecht. Es mangelte ihnen auch an Kenntnissen der Kundenperspektive, ihrer tatsächlichen Bedürfnisse und Herausforderungen sowie ihrer Fähigkeit, mit einem Kunden zu interagieren. Diese Grenzwerte begrenzen ihre Leistung unter der des Menschen.

Nun stehen neue Technologien vor dem Einsatz. Da Dialog-Engines wie Rasa Core immer beliebter werden, sehen wir, dass die nächste Generation von Bots ihre Antworten, ihr Wissen über die Perspektive des Kunden und ihre Fähigkeit, mit einem Kunden zu interagieren, viel besser beantworten kann.

Aufgrund der aktuellen Schulungsraten von Rasa Core-Kunden erwarte ich, dass Enterprise-Bots den Kunden-Support innerhalb eines Jahres übertreffen werden. Aufgrund der aktuellen Schulungsraten anderer Rasa Core-Kunden erwarte ich für die kommenden Jahre auch für andere Unternehmensfunktionen wie Unternehmensvertrieb, Vertragsmanagement und HR-Abläufe eine überlegene Bot-Leistung.

- - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -

Messenger-Plattformen mit Milliarden von Nutzern drängen stark auf KI-Konversation. Trotz all ihrer Bemühungen bleibt der Chat von Mensch zu Mensch der dominierende Anwendungsfall dieser Plattformen. “

Nach 9 Monaten, in denen Startups und Unternehmen auf Rasa aufbauen, ist mir klarer, welche Messaging-Bots in Unternehmen erstellt werden und wo wir uns gerade befinden. Einzelfälle in Branchenbüchern, Bildung oder Chat-Handel sind eine Ausnahme. Schon früh haben wir nur einen sehr beliebten Anwendungsfall für Enterprise-Bots mit Rasa NLU gesehen: Kundensupport und häufig gestellte Fragen. Dies gilt nicht nur für Rasa NLU, sondern auch für "All-in-One" -Unternehmens-Bot-Plattformen wie Reply.ai oder Kundendienst-Automatisierungstools wie Digital Genius. Es gibt Hunderte von "Startups" (die eher Software-Agenturen ähneln), die den Kundensupport für Unternehmenskunden ausbauen.

Untersuchung des Killer Use Case der ersten Generation von Enterprise Bots: Kundensupport & FAQs

Die Frage ist also "warum"? In meiner Rolle als Angel-Investor von Rasa war es interessant, diesen Kunden-Support-Boom genauer zu betrachten und die aktuellen Grenzen der Enterprise-Bots der aktuellen Generation zu untersuchen.

Grund 1: Der Kundensupport ist der erste realisierbare Anwendungsfall für regelbasierte Unternehmens-Bots

Es ist wahrscheinlich, dass wir bisher nur die Tage des "Pre-App-Stores" von Konversations-KI erlebt haben, in denen Bots, die auf einigen frühen einfachen Tools basieren, den Benutzern unter bestimmten Umständen nur eingeschränkten Nutzen bieten

Das Setup der ersten Generation: ML-basierte NLU und regelbasierter Dialog

In der ersten Generation der Bot-Entwickler wurden NLP-Tools wie Api.ai, wit.ai oder Rasa NLU eingesetzt. Diese Tools verwenden „natürliche Sprache“ (dies bedeutet „Mensch“) und verarbeiten sie zu maschinensprachlicher Software, die sie verstehen kann.

Das obige Beispiel zeigt beispielsweise einen Bot, der eine Nachricht von einem Menschen ansieht ("Ich suche ein mexikanisches Restaurant im Stadtzentrum."). Mit Hilfe des NLP-Tools ist es möglich, den Menschen zu identifizieren, der ein Restaurant sucht (Absicht: restaurant_search) und die Art der Küche („mexikanisch“) und wo („Zentrum“).

Hier gibt es eine UX-Ebene, auf der die Erwartungen des Menschen festgelegt wurden (z. B. den Bot als "Restaurantfinder" bezeichnen und Illustrationen zum Essen hinzufügen), die den Menschen darin schulen, in einem ganz bestimmten Kontext zu sprechen.

Für den Benutzer ist dies ein bisschen wie das Durchlaufen eines Entscheidungsbaums. Damit die Erfahrung funktioniert, kann der Benutzer niemals von den vordefinierten Pfaden abweichen. Der Benutzer muss dem Bot genau die richtigen Fragen stellen und sich an den Bot anpassen, um zu navigieren.

Für Benutzer ist das Bot-Erlebnis der ersten Generation vergleichbar mit dem Durchlaufen eines Entscheidungsbaums

Wenn der Bot über genügend Informationen verfügt (durch Text oder durch zusätzliche Informationen wie Standortdaten über das Telefon), antwortet der Bot basierend auf vordefinierten Regeln und Texten (z. B. "Ich kann Ihnen empfehlen," Restaurantname + Adresse "basierend auf einem Anruf an eine API wie die von Foursquare.

In den letzten zwei Jahren wurden Tausende von Bots gebaut, die durch maschinelles Lernen gut genug trainiert wurden, um:

1) die menschliche Sprache in jedem Knoten eines Entscheidungsbaums in sehr spezifischen Kontexten verstehen.

2) Antworten Sie anhand der letzten Konversation nach ganz bestimmten Regeln

Das klingt natürlich sehr nach einem Kunden-Support-Callcenter-Erlebnis, das wir alle haben.

Mit anderen Worten, die Beliebtheit des Anwendungsfalls für den Kundensupport lässt sich durch die Grenzen des Setups der ersten Generation erklären: ML-basierte NLU und regelbasierter Dialog. Kein anderer Anwendungsfall kommt dem Entscheidungsbaum-Paradigma so nahe.

Einige Stimmen der Branche wie Facebook argumentieren, dass dieser ML-basierte NLP- / regelbasierte Dialog für den Kundensupport eine „gute“ Erfahrung ist. Wie Alan Nichol, CTO und Mitbegründer von Rasa, in seinem Deep Dive sagt, müssen jedoch noch viele weitere Herausforderungen gelöst werden, auch für die Kundenbetreuung.

Meiner Ansicht nach ist es trotz einer großen Anzahl von Messaging-Nutzern in Milliardenhöhe viel wahrscheinlicher, dass dies die Tage der Konversations-KI vor dem App Store sind. Bots werden mit einer sehr frühen Generation von Tools erstellt, und diese Tools waren nicht leistungsfähig genug, um mehr zu ermöglichen.

Grund 2: Unternehmen haben bereits Erfahrung in der fortgeschrittenen Automatisierung des Kundensupports

Unternehmen betrachten die Kundenunterstützung seit langem aus der Perspektive der Prozessautomatisierung. Sie verstehen das Problem aus dieser Perspektive: Sie hatten viele laufende IT-Projekte, haben Mitarbeiter, die damit umgehen können, die wissen, wie der Anwendungsfall implementiert wird, und wissen, was die Organisation daraus macht.

Die meisten Unternehmen, mit denen ich darüber gesprochen habe, sehen ihre Kundenbetreuung als eine weitere Anstrengung in der Prozessautomatisierung an. Unternehmen beschäftigen sich seit einiger Zeit mit Prozessautomatisierung, einer Strategie zur Automatisierung von Prozessen, um Kosten einzudämmen und organisatorische Standards mithilfe von Software festzulegen. Sie fühlen sich sehr wohl damit.

In Fällen, in denen es sich nicht um Kundensupport / häufig gestellte Fragen handelt, durchlaufen Unternehmen oft monatelange interne Abstimmungen, um festzustellen, wie ihre Informationen lauten. Im Gegensatz dazu haben sie vordefinierte Regeln und Verfahren festgelegt, die für die Kundenunterstützung erforderlich sind. Sie können sofort anfangen. Die Ausweitung auf Kundensupport-Bots ist für Unternehmen eine Selbstverständlichkeit.

Bots sind rund um die Uhr zu niedrigen Kosten verfügbar, sie werden ihren Job nicht kündigen und sie werden niemals Informationen vergessen, die ihnen beigebracht wurden.

Sehr oft werden die Kunden-Support-FAQs, die sie bereits erstellt haben, zum Basisdokument für die Regeln, denen Bots folgen. In der Tat ist dies ein so häufiger Fall, dass Microsoft einen einfachen Dienst geschaffen hat, der FAQs in Bots übersetzt.

https://qnamaker.ai/

Die aktuelle Generation von regelbasierten Kundensupportdialogen entspricht den Vorstellungen von Unternehmen.

Selbst die sachkundigen VCs, die Bots wie Bradford Cross von Data Collective sehr ablehnen („Bots werden 2017 pleite gehen“), sehen in einem Unternehmens-Bot einen Fall für Prozessautomatisierung.

Wie oben erwähnt, hat die Automatisierung einfacher Fragen- / Antwortanfragen, die den häufig gestellten Fragen (FAQs) ähneln, ihre Grenzen. Wenn Sie als Verbraucher Ihre Kreditkarte verloren haben, möchten Sie nicht, dass häufig gestellte Fragen beantwortet werden, wo Sie eine Kreditkarte erhalten. Sie möchten eine neue Kreditkarte bekommen.

Grund 3: Unternehmen wollen die Qualität der Kundenbetreuung verbessern und haben es schwer, dies zu tun

So ziemlich alle Unternehmen möchten die Qualität ihrer Kundenbetreuung verbessern. Bots bieten einen neuen, eingeschränkten Ansatz, um beides zu tun. Bots sind rund um die Uhr verfügbar, werden nicht gekündigt und erinnern sich hervorragend an die Produkte eines Unternehmens.

Die Zufriedenheit der Kunden mit dem Kunden-Support zu verbessern, wie es beispielsweise über NPS gemessen wird, ist für Unternehmen wirklich schwierig. Es gibt eine natürliche Grenze, die die meisten von ihnen überschreiten und die sie nicht überschreiten können, unabhängig von den Vorzügen ihrer Produkte oder dem Umfang der Ressourcen, die das Unternehmen dem Kundensupport zur Verfügung stellt.

Die natürliche Obergrenze für die Qualität des Kundensupports hängt von der kurzen Zeit ab, die die Mitarbeiter des Kundensupports in ihrem Job bleiben

Es stellt sich heraus, dass diese Obergrenze an den sehr kurzen Lebenszyklus der Mitarbeiter des Kundenservices gebunden ist. Sehr oft dauert es im Durchschnitt nur ein paar Monate, bis sie ihren Arbeitsplatz behalten. In dem oben abgebildeten, idealisierten Beispiel sind es 4 Monate, die ich am meisten von Rasa NLU-Kunden gehört habe. Am Anfang ist die Qualität des Supports ziemlich niedrig, da sich der Kundenbetreuer in der Ausbildung befindet. Wir haben alle die verständlichen "Entschuldigung, es ist mein erster Tag" -Ausreden durchgemacht. Wenn das Training beginnt, verbessert sich die Qualität des Supports.

Aber nach durchschnittlich ein paar Monaten werden CS-Mitarbeiter demotiviert und die Qualität ihrer Arbeit sinkt, bevor sie das Unternehmen verlassen, zusammen mit dem Wissen, das sie über die Produkte des Unternehmens und vor allem über ihre Kunden erworben haben.

Je komplexer ein Produktportfolio und je passender es für bestimmte Kundensegmente wird, desto größer sind die damit verbundenen Herausforderungen. Wenn die internen FAQs zum Kundensupport mehr als 100 Produkte und mehr als 200 Website-URLs enthalten - wie es in der Versicherungsbranche üblich ist -, kann die Person des Kundensupports in diesen 4 Monaten wahrscheinlich nicht in der Lage sein, das jeweilige Produkt zu kommunizieren -Kundenanpassungen und damit verbundene Kundenprobleme gut adressieren. Es ist eine Wissensbarriere, die große Unternehmen nicht leicht überwinden können.

Sogar die aktuellen Bots verbessern diese Situation bereits. Bots sind rund um die Uhr zu niedrigen Kosten erhältlich, werden nicht gekündigt und erinnern sich hervorragend an die Produkte eines Unternehmens. Was sie noch nicht können, ist zu reagieren auf das, was der Kunde tatsächlich sagt, wenn sie vom vordefinierten Pfad abweichen oder das Thema ändern.

Rasa Core und der Start des Unternehmensrennens um maschinelles Lernen

Für uns ist die Einführung einer auf maschinellem Lernen basierenden Dialog-Engine wie Rasa Core ein sehr großer Schritt in die nächste Generation. Bots können nicht nur die menschliche Sprache verstehen, sondern auch auf viel intelligentere Weise antworten, was komplexere, mehrgängige Dialoge ermöglicht. Sie erhalten Kenntnisse über die Perspektive des Kunden, seine tatsächlichen Bedürfnisse und Herausforderungen sowie über die Fähigkeit zur Interaktion. Sie werden in der Lage sein, Kenntnisse über Unternehmensrichtlinien wie Bankkonten und die Interaktion mit Kunden zu erlangen und anzuwenden.

Rasa Core-Beispiel - Schulung eines Bots in einer Richtlinie zur Beantwortung einer Kontovergleichsfrage

Schauen wir uns das oben abgebildete Beispiel genauer an, um kurz zu erläutern, was eine Dialog-Engine wie Rasa Core bewirkt.

In dem Beispiel macht ein Bank-Bot Vorschläge, was er als nächstes tun soll, indem er aus Mustern extrapoliert, die er in früheren Gesprächen gesehen hat. In diesem Fall ist das Modell zu 80% sicher, dass es dem Benutzer eine Aufschlüsselung der Zinssätze verschiedener Sparkonten geben soll. Der Bot teilt dem Trainer seine wahrscheinlichsten nächsten Aktionen mit und bittet um Feedback, um das Modell zu verbessern.

Anstatt Unternehmens-Know-how als explizites Regelwerk zu kodifizieren, wird es durch direkte Interaktion mit dem Bot vermittelt.

In diesem interaktiven Lernmodus gibt der Entwickler Schritt für Schritt eine Rückmeldung darüber, wofür sich sein Bot entschieden hat. Es ist eine Art Bestärkungslernen, aber mit Feedback zu jedem einzelnen Schritt

Wenn Ihr Bot die falsche Aktion auswählt, sagen Sie ihm, was die richtige gewesen wäre. Das Modell aktualisiert sich sofort selbst (sodass Sie wahrscheinlich nicht mehr auf denselben Fehler stoßen) und sobald Sie fertig sind, wird die Konversation in einer Datei protokolliert und Ihren Trainingsdaten hinzugefügt.

In einem regelbasierten Ansatz hätten Sie in diesem Moment eine (50. oder 101.) Regel hinzugefügt, die sehr wahrscheinlich mit einer vorherigen Regel in Konflikt steht und einen Fehler erzeugt. Mit Rasa NLU haben Sie einen Edge-Fall sofort gelöst, ohne lange auf Ihren Code gestarrt zu haben, um herauszufinden, was schief gelaufen ist.

Im Laufe der Zeit wird eine Datenbank mit realen Gesprächen aufgebaut, die das Wissen des Unternehmens darüber festlegt, wie Benutzer mit den verschiedenen Prozessen Ihres Unternehmens interagieren, z. B. Kontoeröffnungen bei Ihrer Bank.

Wir sind der Meinung, dass wir am Beginn eines Zeitalters stehen, in dem Unternehmen beginnen werden, ihr Interaktions-Know-how über ihre Kernfunktionen hinweg auf neuronale Netze auszubilden.

In 1,5 Jahren werden wir zum Beispiel Versicherungsunternehmen haben, deren Kundenbetreuungsqualität / NPS-Punktzahl viel höher sein wird als die ihrer Nicht-ML-Brüder.

Prognose: Unternehmen mit Dialogtraining werden Unternehmen ohne Kundenbetreuung im nächsten Jahr übertreffen
Diese Abbildung zeigt, wie ein Bot, der ständig an realen Kundeninteraktionen geschult wird, die Qualität von CS auf ein neues Niveau heben kann. Mit der Zeit sammelt der Bot das Wissen von Dutzenden von CS-Mitarbeitern und kann Kunden zuverlässig dabei helfen, durch Hunderte verschiedener Randfälle zu navigieren.

Nicht-ML-Versicherungsunternehmen werden an der alten Grenze der Kundenbetreuungsqualität festhalten. Sie werden weiterhin alle 4 Monate neue Mitarbeiter einstellen und niemals die Obergrenze überschreiten.

Einige ihrer ML-Kollegen haben Rasa Core bereits in der Beta verwendet. Sie sind auf dem Weg, in einem Jahr deutlich besser zu werden als ihre Kollegen ohne ML.

Rasa Core wurde bereits in den letzten 3 Monaten von 100 Entwicklern in der Closed Beta verwendet. Wir haben gesehen, dass Unternehmen auf mehreren Unternehmensdatensätzen aufbauen: Kunden (CRM), Mitarbeiter (HCM) und Unternehmensressourcen (ERP / Financials). Wir glauben, dass mit Rasa Core alle diese Datensätze ein ähnliches ML Race-Szenario durchlaufen werden. Beispiele für Unternehmenssparten, auf denen unsere Kunden aufbauen, sind Vertrieb, Personalabteilung und IT-Helpdesks.

Wir erwarten, dass Rasa Core bald von Tausenden von Entwicklern verwendet wird und sind gespannt, was sie daraus machen werden.

Vielen Dank an Alex, Alan, Raj, Danielle, Regina.