Go to content

SIEMENS

Research & Development
Technology Press and Innovation Communications

Dr. Ulrich Eberl
Herr Dr. Ulrich Eberl
  • Wittelsbacherplatz 2
  • 80333 Munich
  • Germany
Dr. Ulrich Eberl
Herr Florian Martini
  • Wittelsbacherplatz 2
  • 80333 Munich
  • Germany
Bilder

Wo ist die Leber? Siemens-Forscher Kevin Zhou entwickelte ein lernfähiges System,
das dank des Trainings an Tausenden von Bildern Organe automatisch erkennen und markieren kann.

Jeder Körper ist anders: Auch wenn alle Menschen über die gleichen Organe verfügen, ist es schwierig, deren Umrisse auf
Ultraschall-, Computer- oder Magnetresonanztomographie- Bildern korrekt zu bestimmen, denn sie können verdeckt oder krankhaft verändert sein.

Lernen am realen Objekt: Im Projekt Semantic Heart wird das Herz modelliert.
Das System von Leo Grady lernt die Krebsstadien von Prostatabiopsien.

Lernen am realen Objekt: Im Projekt Semantic Heart wird das Herz modelliert.
Das System von Leo Grady lernt die Krebsstadien von Prostatabiopsien.

Das System von Leo Grady lernt die Krebsstadien von Prostatabiopsien.

Das System von Leo Grady lernt die Krebsstadien von Prostatabiopsien.

Verstecktes Wissen nutzen

Wenn sie mit vielen Bildbeispielen trainiert werden, können Software-Systeme lernen, Organe zu identifizieren und sogar Krebsstadien von Zellen zu erkennen. Dies eröffnet den Weg für völlig neue Diagnose- und Behandlungsverfahren, in denen Anatomie und Physiologie zunehmend transparent werden.

Image Wo ist die Leber? Siemens-Forscher Kevin Zhou entwickelte ein lernfähiges System, das dank des Trainings an Tausenden von Bildern Organe automatisch erkennen und markieren kann.
Image
Image Lernen am realen Objekt: Im Projekt Semantic Heart wird das Herz modelliert. Das System von Leo Grady lernt die Krebsstadien von Prostatabiopsien.
Die Software soll Ärzten helfen, das Ausmaß von Kalkablagerungen zu quantifizieren.
Image
Image Jeder Körper ist anders: Auch wenn alle Menschen über die gleichen Organe verfügen, ist es schwierig, deren Umrisse auf Ultraschall-, Computer- oder Magnetresonanztomographie- Bildern korrekt zu bestimmen, denn sie können verdeckt oder krankhaft verändert sein.

Stellen Sie sich vor, Sie würden so umfassend medizinisch gescannt, dass Ort und Funktion jeder Körperzelle gespeichert würden. Damit könnten dann beispielsweise alle Herz- oder Prostatazellen sofort visualisiert und ein 3D-Bild des jeweiligen Organs erzeugt werden. Die Vorteile: ungehinderte Sicht aus jedem Blickwinkel und Heranzoomen jedes beliebigen Details – und das per Joystick. Auch wenn es noch Jahrzehnte dauern mag, bis aus dieser Vision Wirklichkeit wird, kommen Forscher dieser Idee schon recht nahe, zumindest in bestimmten Körperregionen und auf der Ebene von Voxeln – also 3D-Pixeln –, von denen jeder rund 100.000 Zellen repräsentiert.

„Wir arbeiten darauf hin, dass letztlich jeder einzelne Voxel eines Scans automatisch gekennzeichnet werden kann“, erklärt Dr. Shaohua Kevin Zhou, Leiter eines Programms zur Analyse von Ganzkörperaufnahmen bei Siemens Corporate Technology (CT) in Princeton, USA. „Daraus können wir dann Dienste wie eine semantische Suche entwickeln. Ärzte könnten sich damit vom Computer durch bloßes Erwähnen eines Lebertumors Bilder dieses Tumors aus den neuesten Untersuchungen anzeigen lassen“, sagt Zhou. „Das System würde die Tumorgröße auf jeder Aufnahme automatisch messen und damit belegen, wie der Tumor auf die Behandlung reagiert hat. Auf diese Weise würden Arbeitsabläufe schneller, präziser und effizienter.“

Bevor ein Bildanalysesystem jedoch herausfinden kann, ob die gesuchte Leber in einer Aufnahme vorhanden ist, muss es sich zunächst orientieren. Dafür suchen solche Systeme nach anatomischen Orientierungspunkten. Im Brustkorb sind das zum Beispiel das obere Ende der Lunge und das untere Ende der Aorta. „Die Orientierungspunkte sorgen dafür, dass das System nicht durcheinander kommt und sich zurechtfinden kann“, erläutert Zhou.

Hinter der Fähigkeit solcher Computersysteme, Orientierungspunkte immer besser zu identifizieren und die gewünschten Objekte zu finden, steckt eine Software, die lernt, Bildinhalte zu interpretieren. Dies geschieht auf Basis riesiger Mengen an Merkmalen, die die Bilder eines bestimmten Zielobjekts gemeinsam haben. Beispielsweise kann die Software anhand von Tausenden von Leberbildern trainiert werden, die von Experten kommentiert wurden. Auf diese Weise speichert sie die dreidimensionale Form der Leber und kann anschließend das Organ in jedem medizinischen Bild identifizieren und von seiner Umgebung trennen – unabhängig von Blickwinkel, Verdeckungen oder dem Krankheitsbild. Das Gleiche gilt für immer mehr Körperteile: von Organen und Knochen bis zu den Umrissen eines Fötus oder der Form einer Verletzung.

Hat ein maschinelles System erst einmal gelernt, bestimmte Teile des Körpers zu erkennen, eröffnen sich erstaunliche Möglichkeiten – zum Beispiel nach einer routinemäßigen Ganzkörper-Computertomographie. Unabhängig vom Grund des Scans müssen Radiologen heute in vielen Ländern per Gesetz alle wichtigen Organe in einem Bildsatz und dem gesamten Brustkorb auf Anzeichen von Krankheiten untersuchen. „Eine Untersuchung der Rippen ist besonders zeitaufwändig, weil die genaue Betrachtung von gebogenen Oberflächen schwierig ist“, sagt Zhou.

Durch die Software, die CT in Princeton gerade zusammen mit der Siemens-Geschäftseinheit Computed Radiology entwickelt, könnte es eines Tages möglich sein, den Brustkorb automatisch vom Rest der Aufnahme zu segmentieren und zu verflachen, so dass der Prozess enorm beschleunigt würde. „Das Programm könnte einzelne Rippen identifizieren und ihre Mittellinien lokalisieren“, fügt Zhou hinzu. „Dadurch lässt sich jede Rippe auf dem Bild mit einem einfachen Programm sozusagen plattdrücken.“

Fusion unterschiedlicher Verfahren. Über 50 Jahre lang mussten sich viele Patienten mit schweren Herzerkrankungen einer Operation am offenen Herzen unterziehen. Dank der sich ständig verbessernden Bildgebungsverfahren und dank der Systeme, die lernen, Herzklappen und -kammern, Katheter, Stents und vieles mehr automatisch zu erkennen, können heute jedoch immer mehr Patienten mit minimal-invasiven Katheterverfahren behandelt werden. Vor einem Jahr präsentierte Siemens eine neue Visualisierungs- und Führungstechnik auf Röntgenbasis, um die Implantation von künstlichen Aortenklappen zu erleichtern. Mithilfe von Algorithmen für maschinelles Lernen, die gleiche anatomische Orientierungspunkte in Aufnahmen aus verschiedenen Bildgebungsverfahren automatisch identifizieren, werden Behandlungen wie der Ersatz von Aortenklappen immer präziser.

„Die neue Technik bezeichnen wir als modellbasierte Fusion“ erklärt Dr. Razvan Ionasec von CT. „Dreidimensionale Angiographie auf Röntgenbasis eignet sich hervorragend, um die Position des Katheters zu sehen – dies gilt aber nicht für die Visualisierung von Gewebe. Beim Ultraschall ist es genau anders herum. Die Idee ist also, beides zu kombinieren.“ Daher entwickeln CT-Forscher unter Leitung von Dr. Terrence Chen eine lernbasierte Erkennungs- und Verfolgungstechnologie, die das Erfassen von Bildern aus Angiographie und intravaskulärem Ultraschall (IVUS) optimiert. Solche Geräte werden oft eingesetzt, um die Menge von Plaques in den Herzkranzarterien – also Ablagerungen in den Herzschlagadern – zu bestimmen.

Hier konzentriert sich der Lernprozess darauf, den Ultraschallwandler und den entsprechenden Führungskatheter, die sich durch die Blutgefäße bewegen, auf Angiographiebildern automatisch zu erkennen. „So können die Plaques genau lokalisiert und die Behandlungsplanung unterstützt werden“, sagt Chen.

Verkalkungen erkennen. Auf einem ähnlichen Gebiet arbeitet ein Team unter Leitung von Dr. Tong Fang bei CT in Princeton: Die dynamische Gewebekontrastverstärkung erkennt die Anatomie auf Ultraschallbildern und verbessert die Bildqualität über Verfahren zur Rauschunterdrückung und Strukturoptimierung. Nach einem Offline-Training mit kommentierten Beispielbildern erzielte die Software in einer Pilotstudie laut Fang „eine herausragende Bildqualität und damit Vorteile für die klinische Diagnose.“ Maschinelles Lernen wird auch zum Training von Computertomographie- Systemen genutzt, die verkalktes Gewebe auf Herzaufnahmen identifizieren sollen. „Verkalkung ist der Hauptgrund für einen nötigen Ersatz der Aortenklappe und ein Schlüsselfaktor für koronare Herzerkrankungen“, erklärt Ionasec. „Die Aufnahmen von Computertomographen zeigen zwar sehr gut anatomische Details, aber mit der Software, die derzeit entwickelt wird, wollen wir eine Lösung schaffen, die Ärzten erstmals dabei hilft, das Ausmaß von Kalkablagerungen auf Herzklappen und in der Aorta zu quantifizieren. So können sie die Erfolgschancen der Behandlung besser einschätzen und entscheiden, welcher Prothesentyp verwendet und wie viel Druck über den Ballon zum Befestigen der Klappenprothese ausgeübt werden soll.“

Die Wissenschaftler hoffen, dass sich mithilfe maschinellen Lernens langfristig die Unterschiede zwischen normalen Plaques, die auf der Oberfläche verankert sind, und den instabilen Plaques, die sich ablösen und Herzinfarkte oder Schlaganfälle auslösen können, erkennen lassen. Letztere sind ein großer Risikofaktor bei vielen interventionellen Verfahren. „Auf Computer- und Magnetresonanz-Tomographie-Scans können wir verschiedene Arten von Plaques sehen“, sagt Dr. Gareth Funka-Lea, Spezialistin für kardiovaskuläre Krankheiten in Princeton, „aber instabile Plaques können wir noch nicht identifizieren. Dies könnte uns jedoch gelingen, wenn wir künftig maschinelles Lernen und die Analyse von Datenbanken verbinden.“

Das ganze Herz im Fokus. Siemens-Expertenteams für Herz und Gefäße sowie für maschinelles Lernen haben inzwischen ihren Arbeitsschwerpunkt von der Aortenklappe praktisch auf das gesamte Herz ausgedehnt. „Als Teil eines großen Forschung- und Entwicklungsprojekts von Siemens mit dem Namen Semantic Heart verwenden wir maschinelles Lernen, um alle vier Klappen automatisch zu identifizieren“, erklärt Ionasec. „Diese Information integrieren wir dann in unsere Modelle der Herzkammern, um ein Gesamtmodell des Herzens zu erhalten.“ Ziel ist es, dass Ärzte vor der Behandlung die Auswirkungen verschiedener interventioneller Verfahren auf die Dynamik des gesamten Herzens eines Patienten simulieren und analysieren können – sei es für das Einsetzen eines Stents, die Behandlung eines Aneurysmas oder den Ersatz einer Herzklappe.

Eines der am weitesten reichenden Ergebnisse des Projekts Semantic Heart ist, dass auch die Mitralklappe, die den Blutfluss zwischen dem linken Vorhof und der linken Herzkammer regelt, immer besser modelliert werden kann. Die Mitralklappe ist viel komplexer als die Aortenklappe und wird von einem Netz von Sehnenfäden gehalten, die die beiden Mitralsegel davon abhalten, in den linken Vorhof umzuschlagen. Bei Überanstrengung oder Erkrankungen können diese Sehnenfäden jedoch reißen – die Folgen können lebensbedrohlich sein. Als Behandlung kann das lose Mitralsegel über ein Katheter-gestütztes Verfahren am zweiten, gesunden Segel befestigt werden.

„Zurzeit können wir uns allerdings nur über Fluoroskopie-Bilder orientieren. Das macht es nicht einfach, einen winzigen Clip an zwei sich bewegenden Segeln über einen Katheter zu befestigen“, erklärt Ionasec. Sein Team arbeitet deshalb an einem Ansatz, der die Submillimeter-Auflösung von präoperativen Ultraschallaufnahmen, die von einem Wandler in der Speiseröhre erzeugt werden, mit intraoperativen Röntgenbildern kombiniert. Diese Röntgenbilder erstellt das 3D-Bildgebungsverfahren syngo DynaCT Cardiac von Siemens.

Auch hier wurden die Algorithmen wieder anhand von Tausenden von Patientenbildern trainiert. Das maschinelle Lernen wird hier eingesetzt, um Anatomie und Bewegung der Segel automatisch zu erkennen und zu verfolgen und um die Röntgen- und Ultraschallbilder zu verschmelzen. Ende 2011 soll das neue Verfahren in Deutschland in die klinische Phase gehen.

Pathologie-Scanner. Eines Tages wird es auch so etwas wie einen digitalen pathologischen Diagnose-Scanner geben. Er wird sehr genau und kostengünstig tausende Objektträger pro Stunde analysieren, auf denen jeweils papierdünne Gewebeschichten aufgebracht sind, bei denen ein Verdacht auf krankhafte Veränderung vorliegt. Die Resultate werden dann mit anderen Untersuchungsergebnissen der Patienten kombiniert werden, etwa aus den Bereichen Genetik, Physiologie und Anatomie. Und natürlich wird das System von jedem einzelnen Ergebnis lernen und seine Genauigkeit kontinuierlich verbessern. Außerdem werden solche Geräte wahrscheinlich vernetzt sein, um auch voneinander zu lernen.

Das mag zurzeit noch wie eine weit entfernte Vision erscheinen, aber schon heute sammeln Forscher Grundlagenwissen für die Realisierung solcher Geräte. Bei Siemens Corporate Technology in Princeton nutzt ein Team unter Leitung von Dr. Leo Grady, Spezialist für biomedizinische Bildanalyse, maschinelles Lernen, um Krebsstadien von Proben aus Prostatabiopsien vorherzusagen. „Anhand von Proben, die vorher von Pathologen in jeweils eines von vier Krebsstadien eingeteilt wurden, versucht das System Merkmale wie Zellstruktur und -anordnung zu identifizieren, die sich mit den Krebsstadien in Verbindung bringen lassen“, erklärt Grady. „Bei 100 klassifizierten Trägern wird das System durch 90 trainiert und bei den restlichen zehn getestet. Dann werden nach dem Zufallsverfahren weitere 90 Träger für das Training und zehn zum Testen ausgesucht.“

Das wird solange wiederholt, bis die Leistung insgesamt gut ist, das System also gelernt hat, aus seiner Erfahrung die richtigen Schlüsse zu ziehen – manchmal mit Ergebnissen, die auch die Wissenschaftler überraschen. Das System hat beispielsweise nicht nur wie erwartet gelernt, wie verschiedene Zellen aussehen – das ist der erste Schritt in Richtung automatisches Zählen –, sondern es hat auch etwas entdeckt, an das die Forscher gar nicht gedacht hatten. „Obwohl es auf jedem Bild schleifenförmige Anordnungen von Krebszellen und normale Zellen gibt, hat das System herausgefunden, dass die Länge der Schleifen und die Anzahl der darin enthaltenen Zellen ausreichen, um das Krebsstadium zu erkennen“, erklärt Grady. „Das war überraschend für uns. Doch als wir das mit einem Pathologen diskutierten, sagte er uns, dass Spezialisten genau nach diesen Strukturen suchen, um das Krebsstadium zu bestimmen. Hier hatte das System das jedoch von ganz alleine herausgefunden.“

Arthur F. Pease

Der Computer hilft bei komplexen Entscheidungen

Image open

Detektivische Schlussfolgerung: Plaque-Instabilität
Mit dem Fernziel, ein System zu entwickeln, das eines Tages Ärzten helfen kann, komplexe medizinische Fragen zu beantworten, arbeiten Forscher bei Siemens Corporate Technology in Princeton, USA, an einer Maschine, die aus großen Datenmengen vernünftige Schlussfolgerungen ziehen kann. In dem unten dargestellten, vereinfachten Beispiel sind vier Schritte gezeigt:
(1) sammle die Daten aus den Untersuchungen und der Krankengeschichte des Patienten
(2) bestimme mögliche Diagnosen (Differentialdiagnose)
(3) empfehle diagnostische Tests, um die noch existierenden Wissenslücken zu schließen – zum Beispiel ein Elektrokardiogramm (EKG), um den Verschluss einer Koronararterie (ST-Elevation) und eine lokale Dysfunktion von Herzmuskelzellen (Q-Wellen) zu entdecken
(4) wähle dann die wahrscheinlichste Diagnose aus.

„Das System bildet den medizinischen Entscheidungsprozess ab“, erklärt der Projektleiter Dr. Mathäus Dejori. „Ärzte erhalten typischerweise lange Listen von Patientendaten und sollen dann harte Entscheidungen treffen.“ Sein Kollege Dr. Vinay Shet ergänzt: „Unser System vermeidet die Komplexität des direkten Umgangs mit Sprache. Stattdessen arbeiten wir mit semantischen Konzepten wie „Verschluss einer Koronararterie“ oder „akute Brustschmerzen“. Die Maschine versteht diese Konzepte und nutzt medizinisches Wissen, um Schlussfolgerungen zu ziehen. Dejori, Shet und Dr. Dan Tecuci, der dritte beteiligte Forscher, stellen sich diese neue Technologie als einen intelligenten Assistenten vor, der den Ärzten künftig helfen soll, die wachsende Menge an digitalen Informationen sinnvoll zu nutzen und auszuwerten.

close