Von Gehirnströmen zu Textnachrichten in Echtzeit

Menschen, die aufgrund einer schweren Behinderung nicht mehr sprechen können, wollen ihre Worte dennoch aussprechen können. Sie können dies allerdings nicht physisch tun.

Doch es gibt eine faszinierende Möglichkeit, solche tiefgreifenden körperlichen Einschränkungen zu überwinden. Computern mit entsprechender Software sind in der Lage, Gehirnströme zu entschlüsseln, während eine Person zu sprechen versucht, und diese dann interaktiv und in Echtzeit auf einen Monitor zu übertragen.

Die jüngsten Fortschritte zeigen, dass es Computern, die mit Hilfe aktueller Methoden der künstlichen Intelligenz (KI) trainiert wurden, durchaus möglich ist, Menschen, die zwar geistig, aber nicht körperlich in der Lage sind zu sprechen, einen Wortschatz von mehr als 1.000 Wörtern wiederzugeben.

Das deckt mehr als 85 Prozent der meisten alltäglichen Kommunikation in der englischen Sprache ab. Mit weiteren Verfeinerungen, so die Forscher, ist ein Wortschatz von 9.000 Wörtern durchaus möglich.

Was ist der Ansatz der neuen Studie?

Die in der Zeitschrift Nature Communications veröffentlichten Studienergebnisse stammen von einem Forscherteam der University of California in San Francisco. Zuvor hatten die Forscherinnen und Forscher in einer Studie aus dem Jahr 2021, die im The New England Journal of Medicine veröffentlicht wurde, festgestellt, dass dieses KI-gestützte System allein aus den Gehirnströmen einer gelähmten Person, die zu sprechen versucht, 50 vollständige Wörter in Echtzeit entschlüsseln kann. Diese Studie ist unter dem Namen BRAVO bekannt geworden, kurz für Brain-computer interface Restoration Of Arm and Voice.

In der neuesten nachfolgenden BRAVO-Studie wollte das Forscherteam herausfinden, wie man die englische Sprache in kompakte Einheiten verdichten kann, um sie leichter entschlüsseln zu können und den Wortschatz von 50 Wörtern zu erweitern. Sie taten dies auf die gleiche Weise wie wir alle. Sie konzentrierten sich nicht auf ganze Wörter, sondern auf das Alphabet mit seinen 26 Buchstaben.

Wie funktioniert die Spracherkennung?

An der Studie nahm ein 36-jähriger Mann mit schweren Lähmungen der Gliedmaßen und der Stimme teil. Das Team entwickelte für diese Person eine Pipeline zum Buchstabieren von Sätzen, die es ihm ermöglichte, Botschaften mit Codewörtern, die jedem der 26 Buchstaben in seinem Kopf entsprechen, lautlos zu buchstabieren. Dabei zeichnete eine Anordnung von Elektroden mit hoher Dichte, die über dem sensomotorischen Kortex des Gehirns, einem Teil der Großhirnrinde, implantiert war, seine Gehirnströme auf.

Ein ausgeklügeltes System, das Signalverarbeitung, Spracherkennung, Wortklassifizierung und Sprachmodellierung umfasst, übersetzte diese Gedanken dann in kohärente Wörter und vollständige Sätze auf einem Computerbildschirm. Dieses so genannte Sprachneuroprothesensystem ermöglicht es Menschen, die ihre Sprache verloren haben, in etwa das Äquivalent zu Textnachrichten zu nutzen.

Das Forscherteam testete sein Rechtschreibsystem zunächst, indem es die Teilnehmer aufforderte, einen auf dem Bildschirm angezeigten Satz lautlos wiederzugeben. Dann gingen sie zu Gesprächen über, bei denen der Teilnehmer eine Frage gestellt bekam und frei antworten konnte.

Als der Computer ihn zum Beispiel fragte: „Wie geht es Ihnen heute?“, antwortete er: „Mir geht es sehr gut“. Auf die Frage nach seiner Lieblingsjahreszeit antwortete er: „Sommerzeit“. Mit einer versuchten Handbewegung signalisierte er dem Computer, dass er mit dem Sprechen fertig war.

Der Computer machte es nicht jedes Mal richtig. Insgesamt zeigen die Tests jedoch, dass das KI-Gerät still gesprochene Buchstaben mit einem hohen Maß an Genauigkeit dekodieren konnte, um Sätze aus einem Wortschatz von 1.152 Wörtern mit einer Geschwindigkeit von etwa 29 Zeichen pro Minute zu bilden. Im Durchschnitt lag das Rechtschreibsystem nur in 6 Prozent der Fälle falsch.

Wie sehen künftigen Anwendungen aus?

Natürlich ist noch viel mehr Arbeit nötig, um diesen Ansatz an mehreren Menschen zu testen. Die Forscher wissen noch nicht, wie sich individuelle Unterschiede oder spezifische medizinische Bedingungen auf die Ergebnisse auswirken könnten. Sie vermuten, dass dieser allgemeine Ansatz bei allen Menschen funktioniert, solange sie geistig in der Lage sind, zu denken und zu versuchen zu sprechen.

Wie die Studienergebnisse deutlich zeigen, birgt die Kombination aus künstlicher Intelligenz und geräuschlos gesteuerten Sprachneuroprothesen zur Wiederherstellung nicht nur der Sprache, sondern auch einer sinnvollen Kommunikation und einer echten Verbindung zwischen Menschen, die die Fähigkeit zu sprechen verloren haben, und ihren Angehörigen ein großes Potenzial. Auch eine Wiedergabe der Gedanken mit einer Stimme, die von einer künstlichen Intelligenz erzeugt wurde, wird möglich sein.

Quellen

• Generalizable spelling using a speech neuroprosthesis in an individual with severe limb and vocal paralysis . Metzger SL, Liu JR, Moses DA, Dougherty ME, Seaton MP, Littlejohn KT, Chartier J, Anumanchipalli GK, Tu-CHan A, Gangly K, Chang, EF. Nature Communications (2022) 13.
• Neuroprosthesis for decoding speech in a paralyzed person with anarthria. Moses DA, Metzger SL, Liu JR, Tu-Chan A, Ganguly K, Chang EF, et al. N Engl J Med. 2021 Jul 15.

⊕ Dieser Beitrag wurde auf der Grundlage wissenschaftlicher Fachliteratur und fundierter empirischer Studien und Quellen erstellt und in einem mehrstufigen Prozess überprüft.

⊕ Wichtiger Hinweis: Der Beitrag beschäftigt sich mit einem medizinischen Thema, einem Gesundheitsthema oder einem oder mehreren Krankheitsbildern. Dieser Artikel dient nicht der Selbst-Diagnose und ersetzt auch keine Diagnose durch einen Arzt oder Facharzt. Bitte lesen und beachten Sie hier auch den Hinweis zu Gesundheitsthemen!

ddp