Kunstmatige Intelligentie in Oncologie

Ondersteuning van wetenschappelijk onderzoek

Gehonoreerde aanvragen 2020

Ronald Boellaard

Amsterdam UMC, locatie VUMC

 

Kort samengevat, behelst het onderzoek van Ronald Boellaard het volgende: 

'Artificial intelligence and machine learning for FDG PET/CT response prediction in diffuse large B cell lymphoma

The project aims at the application of artificial intelligence (AI) methods to improve prognosis and treatment response prediction based on FDG PET/CT studies of diffuse large B-cell lymphoma patients. This project is an extension of a successfully running international consortium project PETRA (petralymphoma.org). The Hanarth Fonds grant will be used to investigate the use of radiomics analysis in combination with machine learning as well as the use of convolution neural networks for deep radiomics analysis of FDG PET/CT to better predict response to treatment, thereby avoiding futile treatments, as compared to current FDG PET/CT reads.'

 

Publicaties

  • Combatting the effect of image reconstruction settings on lymphoma [18F]FDG PET metabolic tumor volume assessment using various segmentation methods
    • PubMed, 29 juli 2022
    • Klik hier om de publicatie te bekijken

  • Reproducibility of [18F]FDG PET/CT liver SUV as reference or normalisation factor
    • PubMed, 27 september 2022
    • Klik hier om de publicatie te bekijken

  • An artificial intelligence method using 18F-FDG PET maximum intensity projections to predict 2-year time-to-progression in diffuse large B-cell lymphoma patients
    • Research Square, 11 augustus 2023
    • Klik hier om de publicatie te bekijken

  • Sensitivity of an AI method for [18F]FDG PET/CT outcome prediction of Diffuse large B-cell
    lymphoma patients to image reconstruction protocols
    • Springer Open, 28 september 2023
    • Klik hier om de publicatie te bekijken. 

  • Validation of an Artificial Intelligence–Based Prediction Model Using 5 External PET/CT Datasets of Diffuse Large B-Cell Lymphoma
    • The Journal of Nuclear Medicine, november 2025
    • Klik hier om de publicatie te bekijken

 

Resultaten mei 2025

Tijdens dit project hebben we twee methoden ontwikkeld en geëvalueerd voor de prognose van patiënten met diffuus grootcellig B-cel lymfoom, gebruikmakend van FDG PET/CT-beelden. De methoden zijn ontwikkeld om de kans op ziekteprogressie binnen twee jaar te voorspellen. 

De eerste methode maakt gebruik van zogeheten radiomicskenmerken die zijn afgeleid van het FDG PETbeeld. Deze kenmerken zijn kwantitatieve maten van FDG-opname, FDG-avide tumorvolume en verspreiding van de ziekte door het lichaam. Op deze manier lijken deze kenmerken sterk op de visuele stadiëring van patiënten en zijn ze dus goed uitlegbaar. Het nadeel van het radiomicsmodel is echter dat het afhankelijk is van nauwkeurige tumorintekeningen, wat we zorgvuldig hebben geoptimaliseerd en geëvalueerd.

Daarnaast hadden we als doel om een deep learning-methode te ontwikkelen (methode 2) die de PETgegevens direct gebruikt zonder tumorintekeningen, waarvoor interactie of input van een arts nodig is. De deep learning-methode kan dus een prognose geven zonder enige interactie door een arts. Er werd een 3D deep learning-methode ontwikkeld, inclusief uitlegbare AI-componenten gebaseerd op occlusiebeelden die de regio’s tonen die het deep learning-model gebruikt om de uitkomst te voorspellen. Uit de resultaten bleek dat de deep learning-methode inderdaad tumorinformatie gebruikte, zoals zichtbaar in het PET-beeld, om de uitkomst te voorspellen.

Alle methoden, zowel de radiomics- als de deep learning-methode, bleken beter te presteren dan de klinisch gebruikte IPI-score, getest op zes externe en onafhankelijke datasets. Met dit project hebben we aangetoond dat we met FDG PET/CT de overlevingsuitkomst betrouwbaar en met een hogere nauwkeurigheid kunnen voorspellen dan de momenteel gebruikte klinische scores. De methoden zijn publiek beschikbaar gemaakt op petralymphoma.org en kunnen worden gebruikt in klinisch onderzoek.

 

Korte samenvatting van voortgang / resultaten mei 2024

Het afgelopen jaar hebben we een convolution neural network voor de voorspelling van 2 jaars tijd tot progressie (TTP) van diffuus grootcellig B-cel lymfoom patienten ontwikkeld. We gebruikten hiervoor 296 FDG PET scans. Deze hebben we eerst omgezet naar 2D coronale en sagittale maximum intensiteitsprojecties (MIP). Hiermee wordt de grootte van de databestanden verkleind en daarmee de rekentijd om het model te trainen verkort. Het bleek dat ons CNN model in staat is om de TTP te voorstellen met een AUC van 0.72 (vergeleken met 0.68 verkregen met de klinisch gebruikte internationale prognostische index). Het model hebben we extern gevalideerd met een tweede dataset van 340 patienten en liet een prestatie zien van AUC=0.74. Vervolgens hebben we naar de gevoeligheid van het CNN model voor variaties in PET reconstructie instellingen (PET beeldkwaliteit). We vonden dat de TTP voorspellingen veranderde door variatie in beeldkwaliteit. We hebben daarna gekeken naar 2 methoden om hiervoor te compenseren, namelijk de COMBAT methode en PET beeld filtering. De laatste methode bleek zeer effectief on de verschillen in TTP voorspellingen tussen de verschillende PET beeld reconstructies op te heffen. Recentelijk hebben we dit model getest op 6 external trial datasets en we vonden dat ook op deze datasets het deep learning model beter de uitkomst kon voorspellen dan de klinisch gebruikte IPI score.

Momenteel werken we aan een volledig 3D CNN waarbij we de 3D PET beelden in plaats van 2D MIPs gebruiken. De prestaties van dit 3D CNN gaan we dan vergelijken met het eerder genoemde 2D MIP CNN om na te gaan of we met alleen 2D MIPs al voldoende informatie voor het voorspellen van overleving hebben verkregen. Tenslotte bestuderen we momenteel het gebruik van een aantal open/vrij verkrijgbare AI gebaseerde tumor segmentatie modellen en willen we deze segmentaties gebruiken als startpunt van onze radiomics-machine learning analyse procedures. Verder willen we deze AI-radiomics procedure gaan vergelijken of combineren met onze deep learning methode en daarbij de meest optimale benadering te vinden om de overlevingsuitkomst zo goed mogelijk te kunnen voorspellen.

 

Korte samenvatting van voortgang / resultaten mei 2023

Het afgelopen jaar hebben we een convolution neural network voor de voorspelling van 2 jaars tijd tot progressie (TTP) van diffuus grootcellig B-cel lymfoom patienten ontwikkeld. We gebruikten hiervoor 296 FDG PET scans. Deze hebben we eerst omgezet naar 2D coronale en sagittale maximum intensiteitsprojecties (MIP). Hiermee wordt de grootte van de databestanden verkleind en daarmee de rekentijd om het model te trainen verkort. Het bleek dat ons CNN model in staat is om de TTP te voorstellen met een AUC van 0.72 (vergeleken met 0.68 verkregen met de klinisch gebruikte internationale prognostische index). Het model hebben we extern gevalideerd met een tweede dataset van 340 patienten en liet een prestatie zien van AUC=0.74.

Vervolgens hebben we naar de gevoeligheid van het CNN model voor variaties in PET reconstructie instellingen (PET beeldkwaliteit). We vonden dat de TTP voorspellingen veranderde door variatie in beeldkwaliteit. We hebben daarna gekeken naar 2 methoden om hiervoor te compenseren, namelijk de COMBAT methode en PET beeld filtering. De laatste methode bleek zeer effectief on de verschillen in TTP voorspellingen tussen de verschillende PET beeld reconstructies op te heffen.

Momenteel werken we aan een volledig 3D CNN waarbij we de 3D PET beelden in plaats van 2D MIPs gebruiken. De prestaties van dit 3D CNN gaan we dan vergelijken met het eerder genoemde 2D MIP CNN om na te gaan of we met alleen 2D MIPs al voldoende informatie voor het voorspellen van overleving hebben verkregen. Tenslotte, kijken we ook naar de toepassing van zogenaamde interim PET studies, die na 2 tot 4 kuren wordt gemaakt. Het doel is om ook hiervoor een CNN te ontwikkelen om de overleving te voorspellen en deze later te combineren met het eerdere model om daarmee mogelijk nog beter de 2 jaars TTP te kunnen voorspellen.

Korte samenvatting van voortgang / resultaten mei 2022

Gedurende de eerste 6 maanden is er gekeken naar methoden die kunnen corrigeren voor tumor PET data variaties ten gevolge van variatie in PET beeld reconstructie instellingen (zoals je in multicenter studies ziet) en door variatie in gebruik tumor delineatie methoden (zoals je in verschillende softwarepakketten ziet). Uit deze studies is gebleken dat data harmonisatie met deze zogenaamde COMBAT methoden mogelijk en noodzakelijk wanneer gebruik gemaakt wordt van sommige type delineatie methodes, maar dat als de tumor segmentaties op contouren met een vaste drempel waarden zijn gebaseerd dit niet nodig bleek te zijn. 

Verder hebben we een deep learning methode (CNN) ontwikkeld, toegepast en gevalideerd. De methode gebruikt FDG PET maximum intensiteits beelden als input en geeft een voorspelling (kans) op 2 jaars tijd tot progressie op basis van baseline FDG PET studies in DLBCL patienten. We hebben aangetoond dat het mogelijk om met deep learning de 2 jaars TTP te voorspellen met een extern gevalideerde ROC-AUC=0.7. Op dit moment breiden we de methode uit door ook andere PET features en klinische gegevens mee te nemen in de voorspelling en daarmee de prestaties te verbeteren. Verder voegen we explainable componenten toe zodat de gebruiker informatie krijg op basis van welke beeld eigenschappen (bijvoorbeeld aanwezigheid, locatie en spreiding van tumoren) de voorspelling is gebaseerd waardoor de gebruiker in staat is om in te schatten of de voorspelling aannemelijk is.