Welche Auswirkungen haben Fortschritte im Bereich maschineller Übersetzung auf Fuzzy Matches

Stellen Sie sich vor, Sie über­setzen eine Ge­schichte über einen Hund. Dafür ver­wenden Sie ein Translation-Management-System, und der Aus­gangs­satz lautet wie folgt: „Der schwarze Hund wurde fast über­fahren, als er über die Straße lief.“ Nehmen wir nun an, dass es im Translation Memory (TM) be­reits eine Über­setzung für fol­genden Satz gibt: „Der braune Hund wurde über­fahren, als er über die Straße lief.“ Diese Beinahe-Über­einstimmung wird als „Fuzzy Match“ bezeichnet. Alles, was hier noch ge­tan wer­den muss, ist, „braun“ durch „schwarz“ zu er­setzen und das kleine, aber eminent wich­tige Wörtchen „fast“ hin­zu­zufügen.

Die Engine einer maschinellen Über­setzung (MT) bietet Ihnen jedoch eine – ab­gesehen von der nicht ganz ge­glückten Wort­wahl – per­fekt passende Über­setzung an, nämlich: „Als der schwarze Hund über die Straße lief, wurde er fast ge­troffen.“

Würden Sie die Über­setzung aus dem TM ver­wenden, die von einem Menschen stammt, aber be­arbeitet wer­den müsste, oder die nahe­zu per­fekte, allerdings MT-generierte Über­setzung?

Auf den ersten Blick mag die eine Lösung so gut sein wie die andere, doch tat­sächlich ist die Ent­scheidung gar nicht so ein­fach. Dabei war die Wahl zwischen TM und MT früher ein­mal durchaus ein­fach: Man ging einfach den Weg des ge­ringsten Auf­wands. Das war in der Regel die Über­nahme des TM-Eintrags, da die MT minder­wertige Er­gebnisse lieferte. Heute haben Über­setzer nicht selten die Qual der Wahl. Dank der Fort­schritte im Be­reich des maschinellen Lernens ist nun end­lich der Punkt er­reicht, an dem MT-generierte Über­setzungen mit Fuzzy Matches mit geringer Über­einstimmung konkurrieren können.

Heißt das, dass TMs nun zum alten Eisen gehören?

Keines­wegs. Oder zumindest noch nicht. Aller­dings ist es sehr wohl an der Zeit, die seit zwei Jahr­zehnten bewährten Branchen­standards für Fuzzy Matches zu hinter­fragen.

Die Qual der Wahl für den Über­setzer: Fuzzy Match oder MT-Ausgabe?

Früher galt die Faust­regel: Fuzzy Matches mit weniger als 70 bis 75 % Über­einstimmung sind nicht mehr zu ge­brauchen. Und bis vor Kurzem gab es auch wenig Grund, diese Regel zu hinter­fragen, denn ein Fuzzy Match dieser Kategorie schlug die MT-Ausgabe um Längen. Dann setzte die MT zum großen Sprung an – neuronale MT-Systeme kamen auf. Und selbst jetzt, wo sich die Er­gebnisse der MT all­gemein ver­bessert haben, haben wir noch keine akademische Arbeit oder große Forschungs­arbeiten in einer der Haupt­sprachen ge­sehen, die be­weisen, dass MT an TM vorbei­gezogen wäre.

Dabei gibt es durchaus sporadische Hin­weise, wonach dieser Punkt bereits er­reicht sein könnte. Anfang 2019 ver­öffentlichte TAUS einen Be­richt mit eigenen Daten, aus denen her­vor­geht, dass die maschinelle Über­setzung für Matches unter­halb der 85-%-Schwelle bessere Er­gebnisse liefert als aus TMs – zu­mindest in romanischen Sprachen.

Wäre es da nicht logisch, die Unter­grenze für brauch­bare Matches auf min­destens 85 % an­zuheben? Nun, ganz so ein­fach ist es nicht:

• Sprache ist so flexibel und die mög­liche Varianten­vielfalt je nach Sprache und Content-Typ so un­überschaubar groß, dass niemand mit Sicher­heit sagen kann, dass 85 % in jedem denk­baren An­wendungsfall ein ge­eigneter Grenz­wert wären. Für fran­zösische Rechts­texte gel­ten andere Stan­dards als für technischen Content in russischer Sprache, um nur zwei be­liebige Bei­spiele zu nennen.
• Darüber hinaus gibt es weitere Variablen: Nicht jede MT-Engine ist für jeden An­wendungs­zweck gleich gut geeignet, und je nach­dem, welchen Algorithmus das TM-System ver­wendet, variiert das Resultat – den einen „Standard“-Algorithmus gibt es nämlich nicht. Auch hier existieren prak­tisch unendlich viele Mög­lichkeiten.
• Selbst wenn sich sicher sagen ließe, dass Fuzzy Matches mit mindestens 85 % Über­einstimmung aus­nahms­los immer besser ab­schneiden als die MT, heißt das im Umkehr­schluss noch lange nicht, dass die MT unterhalb dieser Schwelle stets die bessere Wahl ist. Eine magische For­mel, die sich für alle Eventualitäten an­wenden ließe, existiert schlicht nicht.

Angesichts dieser Um­stände bleibt nur das Experimentieren in der Praxis. Bei Fuzzy Matches mit einer relativ geringen Über­einstimmung um die 70 % stehen Über­setzer nun vor der schwierigen Ent­scheidung, ob es sich lohnt, den Fuzzy Match zu über­nehmen, oder ob eine MT-generierte Über­setzung der vollen Original­aussage hilf­reicher ist. Der Be­arbeitung be­dürfen voraus­sichtlich beide, wenn auch in ver­schiedener Hin­sicht: Während der Fuzzy Match so an­gepasst wer­den muss, dass er die Original­aussage voll wieder­gibt, weist die MT-Ausgabe wo­möglich Defizite hin­sichtlich Ge­nauigkeit und/oder Sprach­fluss auf.

Die Frage, welches Vor­gehen zeit­sparender ist, lässt sich nicht ein­deutig beantworten.

Doch die Tat­sache, dass sich diese Frage heute über­haupt stellt, deutet auf eine neue, richtung­weisende Ent­wicklung in der Über­setzungs­branche hin. Eine Ent­wicklung, die in gewisser Weise an das Zeit­alter der In­dustrialisierung er­innert. Die Gebrüder Wright beispiels­weise schei­terten mit Dutzenden Proto­typen ihrer Flug­apparate, ehe sie sich end­lich in die Lüfte schwin­gen konnten. Auf ähnliche Weise müssen auch wir heute Neues aus­probieren, aus Fehlern ler­nen und mit zu­nehmender Er­fahrung (und immer besserer MT) eine Lö­sung finden, denn es ist schlicht un­möglich, jede einzelne Satz­bau­variante oder Variable von vorn­herein zu be­rücksichtigen.

Der Kipppunkt

Doch wenn nicht jede Mög­lichkeit be­rücksichtigt wer­den kann, woher wissen wir dann, wann die MT das TM in puncto Zu­verlässigkeit über­holt hat?

Der Wandel wird schritt­weise er­folgen, vor­erst lautet die Frage je­doch, wie sich „Qualität“ definieren lässt.

Der­zeit liegt es noch ganz und gar im Auge des Be­trachters, ob die Qualität einer maschi­nellen Über­setzung (mit oder ohne Post-Editing) gegen­über einem 85-%-Match (mit oder ohne Revision durch den Über­setzer) als besser oder schlechter ein­gestuft wird. Aber eines Tages wird die Technologie selbst in der Lage sein, uns auch in dieser Frage zu leiten.

Damit nähern wir uns dem Thema der Qualitäts­bewertung. Neuronale MT kann die Qua­lität der MT-Ausgabe bereits selbst evaluieren. Sie liefert nicht bloß eine maschinell generierte Über­setzung, die der Über­setzer dann über­nimmt oder ver­wirft, sondern bietet zu­nehmend intelligentere Hin­weise, etwa dass eine Über­setzung nicht ideal ist, wo mögliche Fehlerquellen liegen und welche Optionen es zu deren Beseitigung gibt. Neuronale MT unterzieht ihre Er­gebnisse nicht nur einer Selbst­bewertung, sondern einer Selbst­diagnose. Mit der Zeit lernt sie immer mehr dazu, bis sie in der Lage ist, Fehler basierend auf früheren Ent­scheidungen des Über­setzers selbst­ständig zu korrigieren. Bis zu einem ge­wissen Grad ist dies bei adaptiver MT schon jetzt der Fall.

Sobald die MT ihre Fehler ganz allein er­kennen und dem mensch­lichen Editor wert­volle Hin­weise zur Fehler­behebung liefern kann, wird sie die TM-Technologie in be­stimmten An­wendungs­fällen über­flügeln. Und dabei sprechen wir keines­wegs von der fernen Zu­kunft. An­gesichts der massiven Investitionen führender Technologie­unternehmen könnte die MT diesen Kipp­punkt früher er­reichen als ge­dacht.

Eines sei jedoch klar­gestellt: Dies be­deutet nach wie vor und mit hoher Wahr­schein­lichkeit nicht, dass Men­schen durch Maschinen er­setzt wer­den. Viel­mehr wer­den wir den Über­gang von der bis­herigen computer­unterstützten Über­setzung zur personen­unterstützten Über­setzung er­leben. Der Com­puter wird künftig einen ersten Vor­schlag bereit­stellen – zu­mindest für Content mit ge­ringerem emotionalem Ge­halt, irgend­wann aber viel­leicht auch für an­spruchs­volleren Content – und der Mensch bessert dann nach. Ab­schließend wird die Leistung der MT-Engine beurteilt.

Damit stellt sich natürlich die Frage, was dieser Wandel für die Über­setzer in petto hat. Wenn am An­fang des Über­setzungs­prozesses ein computer­generierter Vor­schlag steht, wan­delt sich die Rolle des Über­setzers eher hin zum Editor. Be­deutet dies weniger Ar­beit und damit finanzielle Ein­bußen für Über­setzer? Was ist mit hoch spezialisierten Über­setzern, die stark marken­spezifischen Content be­arbeiten? Für sie sind die MT und das TM nichts weiter als lästiges Bei­werk, das den kreativen Über­setzungs­prozess eher be­hindert. Können wir diesen Über­setzern MT auf­zwingen?

Letzt­lich führt alles zu dem Grund zurück, aus dem wir bis­her eher den Fuzzy Matches ver­trauen: dem mensch­lichen Touch. Doch wenn die MT eines Tages feinere Nuancen und Konnotationen der Sprache ver­stehen, den Satz­fluss rich­tig nach­vollziehen und sprach­übergreifend ver­schiedene Schreib­stile er­kennen kann, wer weiß, wohin der Weg uns dann führt?

Wie ist Ihre Meinung dazu? Sollten aus Rück­sicht auf die immer bessere MT-Qualität nur noch TM-Einträge mit höherer Wertig­keit be­rücksichtigt wer­den? Gern können Sie im Kommentar­feld unten fach­simpeln oder sich direkt an uns wenden.

Wir be­danken uns bei Jon Ritzdorf, Solution Architect bei RWS Moravia sowie Professor am Middlebury Institute of Inter­national Studies (MIIS) und an der Universität Maryland (UMD), für seinen Bei­trag zu die­sem Blog­artikel.