Vortrainierte vs. untrainierte Legal AI: Was ist der Unterschied?

Mit dem breiten Aufkommen und der schnellen Weiterentwicklung von Large Language Models (LLM) lassen sich textbasierte Datenmengen schneller analysieren, Verträge effizienter auf potenzielle Probleme hin untersuchen und rechtliche Dokumente mit KI-Assistenz erstellen. Doch im juristischen Kontext stellt sich eine zentrale Frage: Soll man dazu eine speziell auf eine juristische Aufgabe vortrainierte Legal AI einsetzen oder ein allgemeines KI-Modell (LLM) nutzen, um es dann selbst zu trainieren? Dieser Artikel beleuchtet die Unterschiede sowie die Vorteile beider Ansätze. 

Definition: Was ist eine vortrainierte Legal AI?

Eine vortrainierte Legal AI ist eine KI-basierte Software für einen spezifischen juristischen Anwendungsfall. Die KI wurde durch eine Kombination von Natural Language Processing (NLP) und Large Language Models (LLMs) auf diesen Anwendungsfall optimiert. Die Benutzeroberfläche (UI) wird so gestaltet, dass sie die spezifischen Workflows und Bedürfnisse von Jurist*innen und Rechtsteams optimal unterstützt. 

Die Trainingsmethodik besteht aus den Hauptkomponenten:

1. Extraktion des richtigen Kontexts: Diese Komponente nutzt NLP-Techniken, um spezifische Textsegmente innerhalb juristischer Dokumente, wie z. B. Vertragsklauseln, zu identifizieren und zu klassifizieren. Diese extrahierten Textsegmente liefern den richtigen Kontext für die weitere Analyse mittels LLMs. 
2. Weiterführende Textanalysen mit LLMs durch Prompting: Nach der Identifizierung relevanter Textsegmente werden LLMs eingesetzt, um diese weiter zu analysieren. Diese Analysen werden durch gezieltes Prompting gesteuert, das spezifische Anfragen an das LLM stellt: Zum Beispiel die Überprüfung von Klauseln auf rechtliche Risiken, den Gerichtsstand oder andere spezifische Datenpunkte in Verträgen.
3. Qualitätssicherung mit Testsets: Die Prompting-Ergebnisse werden anhand von robusten Testsets mit unterschiedlichen Formulierungen von Rechtsklauseln bewertet. Diese Testsets enthalten erwartete Ergebnisse, die genutzt werden, um die Genauigkeit und Zuverlässigkeit der generierten Antworten zu messen. Das Prompting wird so lange optimiert, bis die Ergebnisse zuverlässig (repetierbar) und präzise sind.

Ein Beispiel für diesen Trainingsansatz ist das Legal Engineering Team bei Legartis, das mit Machine Teachers zusammenarbeitet, um die Leistungsfähigkeit der KI bei der Vertragsanalyse und -prüfung zu optimieren.

 

Definition: Was ist eine untrainierte Legal AI?

Eine "untrainierte Legal AI" ist ein Large Language Model (LLM), das noch nicht auf unternehmensspezifische oder kundenspezifische juristische Daten angepasst wurde. Es kann ein allgemeines LLM wie ChatGPT oder ein bereits auf rechtliche Themen spezialisiertes Modell sein, das ein Unternehmen oder eine Kanzlei einsetzt. Das Modell kann durch zusätzliche Techniken wie Prompt Engineering oder Retrieval-Augmented Generation (RAG) an spezifische Anforderungen angepasst werden, ohne dass das Modell selbst weiter trainiert wird.

In einigen Fällen kann auch ein Finetuning auf eigene juristische Daten möglich sein, allerdings setzt dies erhebliche technische Ressourcen und Expertise voraus. Kunden müssen das nötige Fachwissen für den Aufbau von Qualitätssicherungs-Tests und die Anpassung des Modells auf ihre spezifischen Anwendungsfälle mitbringen.

Vergleich: Vortrainierte Legal AI vs. Junior Anwalt

Ein Anbieter einer vortrainierten Legal AI verwendet bereits während der Entwicklungsphase ein umfangreiches Testset, um die Qualität und Genauigkeit der KI zu überprüfen und sicherzustellen. Dieses Testset besteht aus juristischen Dokumenten, Vertragsklauseln und Szenarien, die spezifische rechtliche Aufgaben simulieren. Der Anbieter analysiert die Ergebnisse der KI gegen die Referenzantworten von Jurist*innen und optimiert das Modell kontinuierlich basierend auf diesen Tests. Erreicht die KI eine bestimmte Genauigkeit und Wiederholbarkeit (F-Score), beispielsweise über 90%, wird die Antwort der KI als gut gelöst betrachtet und dem Kunden zur Nutzung zur Verfügung gestellt. 

Als Vergleich: Junior Anwälte erreichen im allgemeinen Vergleich mit LLMs eine Genauigkeit / Wiederholbarkeit von 86% (F-Score 0,86) im Auffinden von rechtlichen Unstimmigkeiten in Verträgen (she Studie). 

Eine vortrainierte Legal AI arbeitet also exakter und zuverlässiger als ein Junior Anwalt bei bestimmten Aufgaben wie dem Auffinden fehlender oder fehlerhafter Klauseln in Verträgen.

***Die Legal AI von Legartis ist mit 92% präziser als Junior Anwälte. Sprechen Sie mit uns über Ihren Business Case.

Ressourceneinsatz für eine untrainierte Legal AI

Entscheidet sich eine Organisation dafür, eine untrainierte Legal AI auf ihre spezifischen Bedürfnisse anzupassen, muss sie erhebliche Ressourcen und Expertise bereitstellen. Viele Unternehmen scheitern an dieser Herausforderung, da der Prozess aufwendig und kostenintensiv ist.

Wesentliche Ressourcen und Schritte

1. Aufbau eines Legal Engineering Teams: Mindestens 2-3 Fachkräfte, darunter 1-2 Juristen, die sicherstellen, dass die KI relevante rechtliche Inhalte korrekt verarbeitet.
2. Entwicklung von Prompt Engineering Skills: Erforderlich für die Optimierung der KI-Eingaben (Prompts), um präzise und kontextspezifische Antworten zu erhalten.
3. Erstellung und Pflege von Testsets: Umfassende Datensätze, die repräsentative juristische Szenarien enthalten, sind notwendig, um die Qualität der KI kontinuierlich zu testen und anzupassen.
4. Zeitaufwand und Trainingserfahrung: Die Feinabstimmung eines LLM kann abhängig von den oben genannten Faktoren mindestens ein Jahr dauern, oft auch länger. Dies umfasst die Datensammlung, das Training und das iterative Testen und Anpassen, um eine gute Qualität (F-Score > 0,9) zu erreichen.

Risiken und Herausforderungen bei untrainierten Legal AIs

1. Inkonstante Qualitätsergebnisse: Regelmässige Tests und Anpassungen sind erforderlich, um eine konsistente Leistung zu gewährleisten.
2. Abhängigkeit von wenigen Schlüsselpersonen: Risiko des Wissensverlusts durch Fluktuation.
3. Schnell wechselnde Bedürfnisse: Flexibles Projektmanagement ist entscheidend, um auf neue Prioritäten zu reagieren.
4. Hohe Investitionen und laufende Anpassungen: Ständige Weiterentwicklung von LLMs und Prompt-Techniken erfordert kontinuierliche Investitionen in Zeit und Ressourcen.

Der Einsatz einer untrainierten Legal AI erfordert ein hohes Mass an Expertise, Zeit und Ressourcen. Unternehmen müssen bereit sein, kontinuierlich in die Anpassung und Verbesserung des Modells zu investieren, um sicherzustellen, dass es ihre spezifischen Anforderungen erfüllt.

Vorteile einer vortrainierten Legal AI

1. Geringere Kosten für Training & Anpassung: Bei einer untrainierten Legal AI sind erhebliche Ressourcen notwendig, um die AI auf spezifische Anforderungen zu schulen, einschliesslich der Kosten für das Entwickeln von Datenpunkten, das Anpassen an spezifische rechtliche Begriffe und Szenarien, und das wiederholte Testen und Feinjustieren. 
   
   Rechenbeispiel: Die Erstellung eines Datenpunkts dauert 4-5 Arbeitstage (32-40 Stunden) und kostet bei einem Stundensatz von 85 EUR etwa 2.720 – 3.400 EUR. Bei 30 Datenpunkten summieren sich die Kosten auf 81.600 – 102.000 EUR. Eine vortrainierte Legal AI, die bereits auf spezifische rechtliche Datenpunkte und Aufgaben optimiert wurde, reduziert diese Anpassungskosten erheblich, da sie direkt einsatzbereit ist.

2. Zeitersparnis & schnellerer ROI: Das Training einer untrainierten AI kann bis zu einem Jahr dauern, während eine vortrainierte AI sofort produktiv genutzt werden kann. Dies spart nicht nur Zeit, sondern beschleunigt auch den Return on Investment (ROI).
3. Weniger personeller Aufwand: Ein Unternehmen benötigt kein eigenes Legal Engineering Team und keine spezialisierten Prompt Engineers, um die Legal AI anzupassen, wodurch erhebliche Personalkosten gespart werden.
4. Bessere Konsistenz und Qualität: Vortrainierte AIs bieten eine gleichbleibend hohe Qualität durch umfangreiche Vortrainings und Testphasen, wodurch das Risiko inkonsistenter Ergebnisse und zusätzliche Testaufwände entfallen.

Die Verwendung einer vortrainierten Legal AI spart nicht nur erhebliche Kosten und Zeit, sondern verringert auch den personellen Aufwand und das Risiko inkonsistenter Ergebnisse, was sie zu einer effizienteren Lösung im Vergleich zu einer untrainierten Legal AI macht. 

Vorteile einer untrainierten Legal AI

1. Investition in interne Fähigkeiten: Durch die Schulung interner Teams in Bereichen wie Prompt Engineering wird ein langfristiger Kompetenzaufbau gefördert, der das Unternehmen zukunftssicher macht.
2. Schnelle Reaktion auf interne Anforderungen: Mit den richtigen Fähigkeiten im Team kann das Unternehmen flexibel und schnell auf neue Anforderungen und Veränderungen reagieren, ohne auf externe Anbieter angewiesen zu sein.
3. Unabhängigkeit von Anbietern: Keine Abhängigkeit von den Ressourcen oder Entwicklungen eines externen Lösungspartners; vollständige Kontrolle über den AI-Entwicklungsprozess.
4. Selbstbestimmung über die Qualität: Das Unternehmen definiert und steuert die Qualitätsstandards der AI selbst und kann sie nach eigenen Kriterien optimieren.

Key Takeaway

Die Wahl zwischen einer vortrainierten und einer untrainierten Legal AI hängt stark von den spezifischen Bedürfnissen eines Unternehmens ab. 

Vortrainierte Legal AIs bieten eine sofort einsatzbereite Lösung mit höherer Genauigkeit, geringeren Anpassungskosten und schnellerem Return on Investment (ROI). Sie sind ideal für Unternehmen, die schnelle Ergebnisse mit weniger internen Ressourcen suchen. Jedoch können laufende Lizenz- und Update-Kosten entstehen, und es gibt eine gewisse Abhängigkeit vom Anbieter.

Untrainierte Legal AIs bieten maximale Flexibilität und Kontrolle, um auf spezifische Anforderungen zugeschnitten zu werden, aber sie sind mit hohen anfänglichen Kosten, grossem personellen Aufwand und längeren Implementierungszeiten verbunden. Diese Lösung eignet sich besser für Unternehmen, die spezifische, spezialisierte Anforderungen haben und die vollständige Kontrolle über die AI-Entwicklung behalten möchten. Hierbei muss jedoch auch der potenziell hohe Zeitaufwand und die Notwendigkeit interner Expertise in Betracht gezogen werden.

Lernen Sie die vortrainierte Legal AI von Legartis kennen.