Ervaringen met segmentatie bij medische visualisatie
Jan Kraak j.kraak@rc.rug.nl
Vooruitlopend op de komst van de nieuwe Virtual Reality (VR) -faciliteiten in 2002 wordt het RC vaak benaderd voor medische visualisatie op basis van MRI- en CT-scans. Dit artikel gaat in op de techniek en de toepassingen.
Omdat visualisatiepakketten als AVS en VTK weefsels niet goed kunnen segmenteren, zijn ze beperkt bruikbaar voor medische toepassingen. Met het pakket Amira kunnen evenwel veel, tot voor kort moeilijk oplosbare, segmentatieproblemen op half-automatische wijze worden opgelost. Ook in andere vakgebieden is Amira toepasbaar.
Een geraamte in Heerenveen
In de hoek van het biologielokaal van mijn oude middelbare school in Heerenveen stond het geraamte van een klein uitgevallen mens. Als je de namen van alle botten ervan binnen twee minuten kon opdreunen, dan kreeg je een voldoende van leraar Venhuis. Op mijn vraag waar het geraamte vandaan kwam, vertelde Venhuis, door zijn leerlingen ‘Oegje’ genoemd, dat het afkomstig was van een Japanse soldaat die in de Japans-Russische oorlog van 1905 in de buurt van Port Arthur in het Verre Oosten was gesneuveld. Japan won deze oorlog.
In de bestseller "Revolutie der Eenzamen" van de in de jaren vijftig en zestig bekende Groningse socioloog prof.dr. P.J. Bouman staat dat dit de eerste maal was dat een Europese mogendheid de strijd verloor tegen een niet-westers land. Bouman liet van het vele geld dat hij met zijn boek verdiende een mooie bungalow in Helpman bouwen. Het was indertijd een bekend grapje in Groningse universitaire kringen, dat het hierbij om ‘revolutiebouw’ ging. Maar dit even terzijde.
Visible Human Dataset
Aan die Japanse soldaat, die aan schoolklassen met Friese schoolkinderen zijn botten liet zien, moest ik even denken toen ik vele jaren later door mijn werk kennis maakte met de Visible Human Dataset (VHD). Het gaat hierbij om de gegevens van een man en een vrouw die in digitale vorm voor de gehele wereld beschikbaar zijn.
De 59-jarige vrouw is anoniem. De mannelijke data zijn afkomstig van de 39-jarige Joseph Paul Jernigan die, nadat hij ter dood was veroordeeld vanwege moord, zijn lichaam beschikbaar stelde aan de wetenschap. Hij is in 1993 met een injectie geëxecuteerd, de Visible Man-data kwamen in 1994 beschikbaar. Kort na overlijden zijn van de lichamen MRI- en CT-scans gemaakt in evenwijdige doorsneden loodrecht op de lengteas van het lichaam.
Bij de CT-techniek wordt Röntgenstraling gebruikt en bij MRI elektromagnetische straling. Het maken van de scans gebeurde erg nauwkeurig met een sterke straling: om maximaal toegestane stralingsdosissen hoefde men zich immers niet meer te bekommeren. Daarna zijn de lijken ingevroren en in coupes gesneden, overeenkomstig de scans. Vervolgens zijn deze coupes (digitaal) gefotografeerd. De collectie MRI- en CT-scans, alsmede de beelden van de coupes vormen de Visible Human Dataset.
Anatomische tekeningen
Iedere medicus heeft een anatomische atlas met veel handgetekende plaatjes van het menselijk lichaam. Al geruime tijd proberen visualisatiespecialisten uit een stapeling van scans met de computer de menselijke anatomie te reconstrueren en de plaatjes uit de atlas te evenaren. Sinds de VHD beschikt iedereen over dezelfde dataset, zodat de visualisatieresultaten onderling goed vergeleken kunnen worden.
De eerste indruk is, dat deze computervisualisaties nog niet kunnen tippen aan de handgemaakte tekeningen. Dat is natuurlijk niet verwonderlijk omdat een professionele anatomische tekenaar een grote ervaring heeft en vereenvoudigingen en verfraaiingen toepast, die zeer moeilijk zijn te automatiseren. Maar we zullen zien dat het gebruik van de computer op andere fronten zijn voordelen heeft.
Visualisatiemethoden
De visualisatiemethoden vatten een stapel scans op als een regelmatig driedimensionaal (3D) rooster met meetwaarden van de helderheid op de posities. Over de belangrijkste visualisatiemethoden, het iso-oppervlak en volume rendering, is zeer veel gepubliceerd. Hier volsta ik met een summiere uitleg.
Een iso-oppervlak (zie de figuren 1, 2, 4) bestaat bij nadere beschouwing uit driehoekjes, waarvan de hoekpunten alle dezelfde meetwaarde (iso-level) hebben in het door het 3D-rooster opgespannen volume. Het is de 3D-variant van de 2D-hoogtelijnenkaart bekend uit de aardrijkskunde of een isobaar uit het weerbericht.
Volume rendering (zie figuur 3) kan men opvatten als de 3D-variant van een 2D-beeld opgebouwd uit pixels, die gekleurd zijn overeenkomstig de pixelwaarden. De 3D-variant van een pixel heet voxel.
Deze methoden zijn zeer rekenintensief, zodat de implementatie veel slimheid vereist om ze voor praktische toepassingen te kunnen gebruiken. Het kost de pas in gebruik genomen Onyx 3400 ruim een minuut om figuur 3 uitgaande van een 256*256*160 dataset te berekenen.
Fig. 1. Iso-oppervlak gereconstrueerd uit MRI-scans van het hoofd,
de ‘baardgroei’ komt door ruis in de data.
Toepassingen
Bij diverse medische specialisten begint het besef door te dringen dat ze visualisatie goed kunnen gebruiken voor diagnose, therapieplanning en training. Chirurgen kunnen er nut van hebben bij het voorbereiden van een moeilijke operatie. Een 3D-reconstructie van het te opereren ‘echte’ orgaan met zijn omgeving is beter dan een algemene tekening uit een medische atlas. Uit de literatuur zijn toepassingen bekend waarbij een 3D-reconstructie afgebeeld wordt met Virtual Reality-apparatuur met bijbehorende invoerapparatuur, waardoor het mogelijk is een operatie, bijvoorbeeld aan een knie, vrijwel als echt te simuleren.
Medische visualisatie bij het RC
De afgelopen jaren is het RC van tijd tot tijd betrokken geweest bij medische toepassingen, ik noem een aantal. Reeds ongeveer dertig jaar geleden liet de anatoom prof. De Wilde een bot in plakjes zagen, waarna de omtrekken van de plakjes werden gedigitaliseerd met wat toen een anti-plotter werd genoemd. Uit die omtrekken heeft mevrouw Amesz vervolgens op de plotter, die aan de Telefunken TR4 was gekoppeld, een 3D-reconstructie van het bot laten tekenen door een ALGOL 60-programma.
In het begin van de jaren negentig verdiepte een specialist van Radiologie zich in de mogelijkheden van het toen net beschikbaar gekomen visualisatiepakket AVS.
Door de komst van de VR-faciliteiten in 2002 met allerlei nieuwe mogelijkheden is het RC opnieuw, en in ruimere mate dan voorheen, betrokken bij medische visualisatie. Zo wil de anesthesist drs. Bert Dercksen VR-methoden gaan gebruiken om aankomende anesthesisten het inbrengen van een slang in de luchtpijp te kunnen leren, aan de hand van een 3D-reconstructie van de luchtpijp uitgaande van CT-scans van de borstkas en het strottenhoofd. Tot nu toe wordt hiervoor een oefenpop gebruikt, maar daarmee leert men niet met uitzonderlijke vormen van het strottenhoofd om te gaan.
Als aanzet is een iso-oppervlak van de luchtpijp gemaakt met de Visualization ToolKit (VTK). Figuur 2 toont een kijkje in de luchtpijp ter hoogte van de stembanden. In de webversie van dit artikel staat een link om van het begin tot het einde door de luchtpijp te ‘vliegen’, men ziet dan hetzelfde wat een anesthesist met een intubator ziet.
Fig. 2. In de luchtpijp bij de stembanden.
Een andere toepassing betreft de voorbereiding van een operatie in de pols, waarbij bepaalde zenuwen niet mogen worden geraakt. Hiervoor is het nodig dat de pezen in de pols, via welke men op de plaats van operatie wil komen, worden gevisualiseerd. Figuur 3 toont een (voorlopige) visualisatie van de pols via volume rendering; de pezen zijn duidelijk zichtbaar.
Fig. 3. Volume rendering van de pols.
Betere methoden gewenst
Bij deze projecten werd duidelijk dat de hiervoor genoemde visualisatiemethoden, die zowel in AVS als in VTK zitten, wel voldoen voor globale visualisaties. Maar voor sommige toepassingen is er meer functionaliteit nodig. Dit komt in de eerst plaats omdat de data door meetonnauwkeurigheden veel ruis bevatten.
Ernstiger is evenwel het feit dat meetwaarden vaak niet eenduidig te koppelen zijn aan één bepaald weefsel, ofwel dat de segmentatie niet eenduidig is. Zo komt het voor dat meetpunten in verschillende weefsels dezelfde meetwaarde hebben in een MRI-scan. Maakt men voor die bepaalde meetwaarde een iso-oppervlak – in feite een threshold segmentatie - dan zijn de weefsels niet goed van elkaar gescheiden.
De geometrie van de halsslagader
Bij een recent onderzoek van dr.ir. Natasha Maurits, die werkzaam is als wiskundige bij de afdeling Neurologie van het AZG, kwam deze problematiek duidelijk aan het licht. De bedoeling van dit onderzoek is het ontstaan en de ontwikkeling van aderverkalking in de halsslagaderen te modelleren. Om de stroming van het bloed te simuleren, is een geometrisch model nodig van het oppervlak van de aderen bestaande uit driehoekjes. Tevens moet het volume van de aderen opgebouwd worden uit tetraëders voor wiskundige berekeningen.
Het is niet mogelijk om een iso-oppervlak uit MRI-data van de halsstreek te maken, waarop de aderen helemaal correct waren getekend, zie figuur 4. Bovendien bevat de figuur allerlei niet ter zake doende oppervlakken, die verwijderd zouden moeten worden. Daarom moest er worden omgezien naar een andere methode.
Fig. 4. Iso-oppervlak van de halsslagaderen.
Automatisch segmentatie-onderzoek
Tegenwoordig wordt er veel onderzoek gedaan naar automatische segmentatiemethoden van medische weefsels. Deze lenen zich ook goed om aderen op te sporen in volumedata. De connected components-methode bijvoorbeeld zoekt samenhangende delen op in een 2D-beeld of in een volume. Met kan deze methode laten starten in een punt van een ader, waarna hij zich een weg zoekt door het datavolume naar samenhangende voxels. Het is een beetje te vergelijken met een houtworm die zich een weg zoekt door de zachte delen van een stuk hout. De waterscheidingmethode komt uit dezelfde onderzoekschool.
Deze methoden hebben veel minder last van de hiervoor genoemde niet-eenduidigheid van de meetwaarden, maar door ruis kunnen ze zich nog wel eens ‘vergissen’ en een verkeerde weg volgen. Zoals bij elke methode, zijn objecten kleiner dan de afstand van de roosterpunten, niet te vinden. Deze oorzaken beperken de toepasbaarheid van de segmentatiemethoden: de menselijke ervaring zal van pas blijven.
Half-automatische segmentatie met Amira
De indruk bestaat dat veel van de hiervoor genoemde segmentatiemethoden momenteel nog in een research-stadium verkeren en niet zijn aangepast voor praktisch gebruik door niet-specialisten. Ze zijn bijvoorbeeld nog niet beschikbaar in VTK en AVS. Daarom heb ik gezocht op het web, waar ik het visualisatie- en 3D-reconstructiepakket Amira tegen kwam dat zowel handmatige als automatische segmentatiemethoden heeft. Hiermee lukte het in korte tijd een goed geometrisch model van de halsslagaderen te maken, zie figuur 5.
Amira kent een soort connected components methode - daar simpelweg magic wand genoemd en met één muisklik in werking te stellen - die vanuit een bepaald punt in de ader zich een weg zoekt naar soortgelijke voxels, waarbij men een marge in de voxelwaarden kan opgeven. Daarna kan men de resultaten van de automatische segmentatie met de hand verder aanpassen op de manier van Photoshop. Uiteindelijk dient de uitvoer van Amira, in de vorm van een ader opgebouwd uit tetraëders, als invoer voor het numerieke stromingssimulatieprogramma Comflo, ontwikkeld in de onderzoeksgroep van prof.dr. A. E. P. Veldman van Wiskunde.
Amira is overal toepasbaar waar segmentatie nodig is, bijvoorbeeld in de Metaalkunde, waar men het volume van verstoringen in metalen wil berekenen.
Fig. 5. Deel van halsslagaderen gesegmenteerd met Amira.
Insight ToolKit (ITK)
Segmentatie staat momenteel sterk in de belangstelling. In 1999 is op initiatief van de US National Library of Medicine de ontwikkeling gestart van de open-source toolkit voor registratie (om bijvoorbeeld scans genomen op verschillende tijdstippen en onder verschillende omstandigheden van hetzelfde orgaan op elkaar af te beelden) en segmentatie. Er is toen een driejarig contract verstrekt aan een zestal partners, waaronder de firma Kitware: de maker van VTK.
Kitware drukt een zware stempel op het project. Een beta-versie van de toolkit, Insight Toolkit (ITK) genoemd, komt volgens de plannen beschikbaar in december 2001. De verwachting is dat ITK te zijner tijd goed in combinatie met VTK gebruikt kan worden.
Een medewerker van AVS deelde mee dat zij ook niet willen achterblijven op segmentatiegebied.
Ondersteuning
Met de inmiddels opgebouwde expertise en het beschikbaar komen van steeds betere programmatuur hoopt het RC velen van dienst te kunnen zijn. Met de toekomstige Virtual Reality-faciliteiten, zoals de CAVE, kunnen medische reconstructies ‘echt’ driedimensionaal bekeken worden.
Links
index Pictogram 6