SIEMENS

Wenn Dr. Thomas Friese in seinem Labor in Erlangen bei Siemens Healthcare vor seinem Monitor steht und mit beiden Händen Drehbewegungen im Raum vollführt, erinnert die Szene ein wenig an Tom Cruise im Film Minority Report. Auf dem Display vor ihm beginnt sich das 3D-Modell eines Brustkorbes zu drehen. Sobald Friese in seinen Bewegungen stoppt, kommt auch die Rotation zum Stillstand. Zwei Meter vom Monitor entfernt stehend, verändert er den Bildausschnitt durch behutsame Bewegungen mit der rechten Hand von links nach rechts. Er blättert – ähnlich wie bei einem Smartphone – mit einer Wischbewegung seiner rechten Hand durch eine Bilderserie. Diese Art der berührungslosen Gestenerkennung soll es Chirurgen künftig ermöglichen, im Operationssaal Radiologie-Aufnahmen auszuwählen oder deren Darstellung zu verändern, ohne einen Monitor berühren oder sich vom OP-Tisch entfernen zu müssen.

„Einige der größten Veränderungen in der Medizintechnik finden zurzeit im Arbeitsfeld des Chirurgen statt“, sagt Michael Martens, verantwortlich für die Geschäftsentwicklung in der Chirurgie bei Siemens Healthcare syngo. Er meint damit vor allem den Boom bei den minimal-invasiven Eingriffen mit kleinen, den Patienten schonenden Schnitten. Während der Chirurg bei einer herkömmlichen OP sofort nach dem Aufschneiden des Patienten die relevanten Organe oder Knochen vor sich sieht, hat er bei der minimal-invasiven Chirurgie einen Informationsverlust, den die medizinische Bildgebung auszugleichen hilft. Die Chirurgen bereiten sich daher nicht nur mit dem radiologischen Befund auf eine OP vor, sondern betrachten und diskutieren vorab die medizinischen Schnittbilder der Voruntersuchung.

Auch während der OP greifen die Chirurgen gerne auf diese Aufnahmen zurück. Durch diese Informationen können Standardoperationen und mögliche Komplikationen besser gehandhabt werden. Immer häufiger hängen deshalb Displays in Operationssälen, die diese Informationen im direkten Arbeitsfeld des Chirurgen darstellen. Dabei gibt es jedoch ein Problem: Um jedes denkbare Infektionsrisiko zu minimieren, berührt der Chirurg – abgesehen vom Patienten und den Operationswerkzeugen – möglichst keine weiteren Instrumente und Geräte. Wenn er jegliches Infektionsrisiko ausschließen möchte, müsste er sich nach jeder Berührung eines nicht OP- relevanten Gerätes, wie etwa eines entfernt auf gestellten Touchscreens, komplett umziehen und würde damit die Operations- und Narkosedauer für den Patienten erheblich ausdehnen.

Xbox-Technik im OP. Eine berührungsfreie Steuerung des Displays per Sprache ist für die notwendigen, komplexeren Interaktionen mit medizinischen Bildern nicht praktikabel. Der Chirurg würde dazu einen weiteren Mitarbeiter benötigen, der für ihn die Sprachbefehle erteilt. Diese Person müsste sich zusätzlich im OP aufhalten und würde ein Mehr an Keimen und Kosten verursachen. Auch könnte der Chirurg die Displays nicht intuitiv, sondern nur indirekt bedienen. Die Lösung fanden die Experten schließlich im Videospielbereich: „Als Microsoft die Kinect-Technik auf den Markt brachte, haben wir sofort das Potenzial in der Gestenerkennung für die Chirurgie erkannt“, sagt Friese. Kinect wird in der neuen Spielekonsole Xbox 360 von Microsoft eingesetzt, wo die Technik die Bewegungen von Spielern erkennen und interpretieren kann.

Herzstück von Kinect ist die sogenannte PrimeSensor Technology der Firma PrimeSense. Eine Infrarotlichtquelle projiziert ein unsichtbares Punktmuster in den Raum. Alle dort vorhandenen Personen oder Gegenstände verzerren das Punktmuster. Ein Infrarotsensor misst das verzerrte Punktemuster, eine Software vergleicht die Messwerte mit einem internen Referenzmuster und berechnet damit für jeden Punkt den Abstand zur Lichtquelle – den sogenannten Tiefenwert. Zu Kinect gehört auch eine Videokamera, die ein Farbbild des Raums aufnimmt. Jedem Bildpunkt des Videobildes wird der entsprechende Tiefenwert zugeordnet. Damit errechnet das System eine dreidimensionale Punktwolke, die die räumliche Struktur des aufgenommenen Bereichs wiedergibt. Mithilfe von Wahrscheinlichkeitsmodellen kann das System anhand dieser Punktwolke einzelne Personen voneinander unterscheiden. Punkte, die sich nicht bewegen, gehören nicht zu einer Person und werden vom System ignoriert.

Die Bewegungserkennung der Xbox 360 ist darauf spezialisiert, schnelle Körperbewegungen von Spielern zu identifizieren. Für die langsamen, aber präzisen Handbewegungen, mit denen ein Chirurg die Darstellung am Display beeinflussen soll, ist diese Art der Erkennung hingegen nicht ausgelegt. „Meine Abteilung hat dem System die notwendige Präzision verpasst und die Messtechnik neu programmiert“, erklärt Dr. Georg von Wichert, der bei Siemens Corporate Technology über die Steuerung intelligenter Systeme forscht.

Für die Erkennung von Handgesten müssen die Forscher zunächst die Hand identifizieren, die Bestandteil der Punktwolke ist. Das System wählt hierzu eine sensitive Zone zwischen dem Monitor und dem Benutzer. „Wir gehen davon aus, dass das, was aus der Punktwolke in diese Zone hineinragt, eine Extremität wie zum Beispiel ein Arm ist“, erklärt von Wichert. Die Software berechnet dann, wo sich die zum Arm gehörende Hand befindet und auf welche Stelle des Monitors sie zeigt. Anschließend misst das System die Breite dieser Hand. Bei einer Geste wie etwa dem Spreizen der Hand wird das zu bewegende Objekt auf dem Bildschirm virtuell ergriffen. Danach ermöglicht eine einfache Handbewegung das Rollen durch den Bilderstapel. Um zum Beispiel einen Bildausschnitt zu verändern, bewegt der Chirurg beide Hände voneinander weg.

Nur vier Monate hat es gedauert, bis Friese und von Wichert den ersten Prototypen fertiggestellt hatten. Unterstützung erhielten sie dabei vom Partner Microsoft, der ihnen die Schnittstellen von Kinect zum Windows-Betriebssystem zur Verfügung stellte. So konnten die Forscher die Daten aus der Personenerkennung für ihre Berechnungen nutzen. „Wir sind begeistert, wie stabil und robust das System funktioniert“, freut sich Martens. Das System fixiert sich auf die relevante Zone, in der es die Handgesten erkennt und blendet Bewegungen außerhalb dieses relevanten Bereichs aus. Deshalb lässt es sich auch nicht von einer OP-Schwester aus dem Tritt bringen, die sich in unmittelbarer Nähe des Chirurgen bewegt und ihm Instrumente reicht. Demnächst soll der Prototyp den Weg aus dem Labor in den OP-Saal finden. Chirurgen an zwei europäischen Krankenhäusern in Spanien und Amsterdam wollen das System im Herbst 2011 unter semi-realen Bedingungen testen – selbstverständlich noch nicht am Patienten.

Als nächstes wollen die Siemens-Ingenieure eine Gestensteuerung programmieren, mit der ein Chirurg virtuell einen Gegenstand auf dem Monitor ergreifen, bewegen und wieder loslassen kann. Dadurch wird der Benutzer mit 3DBildern viel intuitiver umgehen können als mit der heute üblichen Maussteuerung. Das fertige System soll sich außerdem mit anderen Krankenhaussystemen wie etwa digitalen Bildarchiven oder elektronischen Patientenakten verknüpfen lassen. Während einer OP kann der Chirurg dann zum Beispiel schnell am Monitor die Blutwerte des Patienten aufrufen. „Das System bietet dem Chirurgen Zugang zu einem ganzen Universum nützlicher Informationen und kann dadurch zu einer besseren OP beitragen“, resümiert Martens.