Maskininlärningsprogram för personlig medicin är i hög grad beroende av tillgång till tillräckliga data. För personlig strålning onkologi måste datauppsättningar som representerar variationen i hela cancerpatientpopulationen förvärvas och användas för att lära sig förutsägelsemodeller. Etiska och rättsliga gränser för att säkerställa dataintegritet hindrar samarbete mellan forskningsinstitut. Vi hypothesize att datadelning är möjligt utan identifierbara patientdata lämnar strålningsklinikerna och att bygga maskininlärning applikationer på distribuerade dataset är möjligt. Vi utvecklade och implementerade en IT-infrastruktur på fem strålkliniker i tre länder (Belgien, Tyskland och Nederländerna). Vi presenterar här ett proof-of-princip för framtida "big data"-infrastrukturer och distribuerade lärandestudier. Lungcancerpatientdata samlades in på alla fem platser och lagrades i lokala databaser. Exemplary stöd vektor maskin (SVM) modeller lärdes med hjälp av Alternating Direction Method of Multipliers (ADMM) från de distribuerade databaserna för att förutsäga postradioterapi dyspné grad P 2. Den diskriminativa prestandan bedömdes av arean under kurvan (AUC) i en femfaldig korsvalidering (inlärning på fyra platser och validering på den femte). Den distribuerade inlärningsalgoritmen jämfördes med centraliserad inlärning där datauppsättningar av alla institut analyseras gemensamt. EuroCAT-infrastrukturen har framgångsrikt genomförts på fem strålkliniker i tre länder. SVM-modeller kan läras om data som distribueras över alla fem kliniker. Dessutom tillhandahåller infrastrukturen en allmän ram för att utföra inlärningsalgoritmer på distribuerade data. Den pågående utbyggnaden av EuroCAT-nätverket kommer att underlätta maskininlärning inom strålnings onkologi. Den resulterande tillgången till större dataset med tillräcklig variation kommer att bana väg för generaliserbara förutsägelser modeller och personlig medicin.  Medicinsk forskning kretsar kring ackumulering och analys av (patient)data. Att samla in tillräckliga mängder data för att förklara ett fenomen är utan tvekan ett stort hinder för vetenskapliga framsteg inom en teknikdriven disciplin såsom strålnings onkologi. Detta hinder blir ännu mer framträdande mot bakgrund av den senaste tidens införande av maskininlärning [1] för att främja målet med personlig medicin: algoritmer för maskininlärning kräver tillgång till stora databaser med tillräcklig variation i insamlade data för att svara på komplexa forskningsfrågor. Enskilda institut kämpar för att samla in nödvändiga datavolymer med tillräcklig mångfald att lära av. Dessutom påverkas och påverkas data som samlas in inom strålnings onkologi av tekniska (t.ex. leverantörsspecifika egenskaper [2]), mänskliga (t.ex. lokala patientegenskaper, läkarens åsikter [3] ), samt organisatoriska (t.ex. behandlingsriktlinjer) faktorer som kan förändras snabbt. Forskningsfrågor i sådana sammanhang kan förbli obesvarbara genom isolerade datainsamlingsinsatser: uppgifterna kan vara alltför partiska eller helt enkelt sakna den nödvändiga variationen för att framgångsrikt modellera sambanden mellan de insamlade variablerna. Datajämlikhet kanske inte bara är en fråga för enskilda institut utan också över hela landet på grund av nationella riktlinjer för behandling [4]. Därför bör generella modeller för maskininlärning för att besvara dessa forskningsfrågor skapas genom att data från flera institut inkorporeras kontinuerligt (dvs. snabbinlärning av hälso- och sjukvård [5] ). Systematisk datadelning mellan forskningsinstitut kommer att bli ett oumbärligt medel för personlig medicin att frodas inom strålning onkologi. För närvarande kännetecknas datadelning av engångsutbyten av datauppsättningar med begränsad standardisering av datainsamling och datakarakterisering. Vidare hindras datadelningen av varje instituts juridiska och etiska intresse för att skydda patienternas privatliv. I denna studie presenterar vi EuroCAT, en IT-infrastruktur för systematiskt datautbyte mellan forskningsinstitut. En videosammanfattning finns här: https://youtu.be/ZDJFOxpwqEA Studiens hypoteser är (1) Datadelning för maskininlärning är möjlig utan identifierbar patientdata som lämnar institutets IT-system. Instituten har alltså fortfarande kontroll över sina uppgifter, bevarar dataintegriteten och löser därmed rättsliga och etiska frågor som är gemensamma för andra former av datautbyte. (2) Det är möjligt att tillämpa maskininlärning på dessa data, och med hänsyn till lämplig metod skiljer sig de resulterande modellerna endast minimalt från centralt inlärda modeller, vilket gör ansträngningarna för att centralisera data till stor del onödiga. Som ett exempel, stöd vektor maskiner (SVM) förutsäga svår dyspné efter strålbehandling (härefter helt enkelt kallas dyspné) läras från de data som tillhandahålls vid fem institut. Syftet med studien var att införa euroCAT-systemet i fem partnerinstitutioner i tre europeiska länder (Belgien, Tyskland och Nederländerna) och på fyra språk (nederländska, engelska, franska och tyska) och testa ovanstående hypoteser. EuroCAT fokuserar på multicentrisk maskininlärning inom strålning onkologi, liknande arbete för att genomföra integritetsbevarande dataanalys finns, t.ex., för Genome-Wide Association Studies (GWAS) [6]. Konstapeln m.fl. Koncist diskutera befintlig litteratur för distribuerat lärande och de åtföljande riskerna. En webbtjänst för distribuerad logistisk regressionsanalys presenteras av Jiang et al. [7] för att underlätta samverkande regressionsanalys. Institut inom EuroCAT-nätverket (en webbplats) ägnar en server inom sin IT-infrastruktur som är värd för de lokala databaserna och den lokala inlärningskontakten (Varian Medical Systems, Palo Alto, USA). Den globala inlärningsmiljön (varian Learning Portal) spänner över webbplatserna och ansluter en central server (mästaren) utanför sajternas IT-infrastruktur till inlärningskontakterna inuti webbplatserna. Master och webbplatser kommunicerar via filbaserade, asynkrona meddelanden. Användaren interagerar med inlärningsmiljön via ett webbläsarbaserat gränssnitt där s/han kan ladda upp inlärningsprogram (MATLAB, MathWorks, Natick, MA, USA) och kan initiera maskininlärningskörningar. Varje inlärningsapplikation består av två delar, en platsalgoritm som körs inom webbplatsens infrastruktur och interagerar med inlärningskontakten och en masteralgoritm som körs i den globala inlärningsmiljön och kan skicka och ta emot meddelanden till och från webbplatsens algoritmer. Varje deltagande center (Aachen (Tyskland), Eindhoven (Nederländerna), Hasselt (Belgien), Liège (Belgien) och Maastricht (Nederländerna) ombads att i efterhand välja ut minst 50 patienter som uppfyllde inklusionskriterierna (icke-småcellig lungcancer, högdos strålbehandling, ingen kirurgisk behandling). Centrerna fick en översikt över de variabler som behövdes för studien. Inledningsvis uppnåddes överlevnadsresultat, dysfagiresultat och dyspnéresultat. För denna proof-of-princip papper, använde vi bara dyspné resultatet. Uppgifterna lagrades i ett kalkylark. En euroCAT-forskare besökte varje center och kontrollerade manuellt 20 % av de insamlade uppgifterna för inkonsekvenser/misstag. Efter behandlingen registrerades dyspné hos 268 patienter. Med tanke på tillgängligheten i databaserna valdes tre funktioner manuellt för att konstruera en föredömlig förutsägelsemodell för svår dyspné efter behandling: lungfunktionstester (FEV1 (i %), forcerad exspiratorisk volym på 1 s, i %, justerat för ålder och kön), hjärtkomorbiditet (icke-hypertensiv hjärtsjukdom vid baslinjen, för vilken behandling vid en kardiologiavdelning har getts) och tidpunkt för kemoterapi. Svår dyspné definierades som P grad 2 dyspné efter behandling. Variablerna anges i tabell 1. Från kalkylbladen extraherades data med hjälp av ett datalagringsverktyg med öppen källkod (Pentaho) och lagrades i en databas med öppen källkod (PostgreSQL). Från denna databas kartlades dataelement till den semantiska webbdatamodellen (Resource Description Framework, RDF) med hjälp av ett verktyg med öppen källkod (D2RQ) och lagrades i en RDF-butik med öppen källkod (Sesame, Eclipse RDF4J). Under kartläggningen till RDF kodades dataelementen med hjälp av Uniform Resource Identifiers (URI) som definieras i en domän ontology (Radiation Oncology Ontology) och referens ontologies (NCI Thesaurus, Unit Ontology) i Web Ontology Language (OWL, finns på Bioportal [8]). Inlärningskontakten använder Semantic Web query language SPARQL för att fråga data från RDF-butiken [9] och kan tolka dessa data till webbplatsens inlärningsalgoritm. Processen för att genomföra distribuerat lärande inom euroCAT presenteras schematiskt i bild. 1................................................................ Vid varje iteration behandlas de uppgifter som lagras på olika platser samtidigt och separat. Uppdaterade modellparametrar skickas sedan från varje plats till befälhavaren. På mastern jämför en algoritm modellparametrarna och uppdaterar dem ytterligare. Algoritmen kontrollerar också om inlärningsprocessen har konvergerat tillräckligt (enligt på förhand fastställda konvergenskriterier). Om konvergenskriterierna ännu inte är uppfyllda skickar befälhavaren tillbaka parametrarna till var och en av platserna. När webbplatserna får uppdaterade parametrar används de som utgångspunkt för att justera modellparametrarna ytterligare (med tanke på de lokala uppgifterna) än en gång. Detta fullbordar en iterationscykel. Inlärningen fortsätter tills konvergenskriterierna är uppfyllda. Med hjälp av denna infrastruktur kan modeller använda data för lärande utan att överföra dessa data över nätverket. Den lärda modellen är en stödvektormaskin (SVM) klassificerare, löst med Alternating Direction Method of Multipliers (ADMM) metod [10]. En stödvektormaskin bestämmer två parallella hyperplan och bildar en "gräns" som delar upp funktionsutrymmet i två stora regioner och en marginal mellan planen. Varje dimension av detta utrymme representerar en patientfunktion (t.ex. FEV1 (i %) eller hjärtkomorbiditet) och varje patient representeras av en punkt T.M. Deist m.fl. / Klinisk och translationell strålning Onkologi 4 (2017) 24-31 25 i detta utrymme. För enkla problem skulle avsikten vara att identifiera hyperplan som skiljer alla patienter med dyspné från gruppen patienter utan dyspné. Detta är inte möjligt i de flesta fall, därför målet blir att hitta hyperplan så att - de flesta av de dyspneiska patienterna är på en och icke-dyspneiska patienter är på den andra sidan - om det finns en patient på "fel" sidan av gränsen, avståndet till gränsen är så liten som möjligt - gränsen mellan grupperna av dyspneiska och icke-dyspneiska patienter är så stor som möjligt. De optimala hyperflygplanen (dw 1⁄4 1 och dw 1⁄4 À1, där d är egenskaperna hos en patient) bestäms av en vektor av koefficienter ðw; b ska minimera en kostnadsfunktion under en uppsättning begränsningar (se bilaga A för närmare information). Boyd och Al. [10] diskutera en distribuerad formulering av en stödvektormaskin med hjälp av multiplikatormetoden (ADMM) och ange MATLAB-kod [11]. ADMM algoritmen fick popularitet i maskininlärning gemenskapen eftersom det gör det möjligt att dela upp stora dataset i mindre delar och distribuera analysen över flera maskiner. I vårt multicentriska inlärningssammanhang utnyttjas samma egendom för att övervinna begränsningen att data inte får centraliseras. ADMM kräver en mängd iterationer där uppskattningar för ðw; b på förfinas med hjälp av varje plats data. Se bilaga A för en mer detaljerad beskrivning av SVM och ADMM. För detaljer om ytterligare databehandlingssteg, parametrisering av ADMM-algoritmen och koden som används för att utföra algoritmen, hänvisar vi till bilaga B. För att visa kapaciteten i det distribuerade lärnätverket utbildas supportvektormaskiner en gång på alla platser och en gång tränas och valideras i en korsvalideringsdesign: SVM monteras med hjälp av data från fyra platser och valideras på den återstående platsen. Denna process upprepas fyra gånger med validering på en annan plats. Genomsnittsvärdena för utbildning och validering utgör korsvalideringsresultatet. Modellernas prestanda mäts i form av diskriminativa prestanda uttryckt som arean under kurvan (AUC) för mottagarens operativa karakteristiska kurva (ROC). För att visa giltigheten av det distribuerade lärandet med avseende på en centraliserad inlärningsalgoritm jämför vi ADMM-resultaten med lösningar från en centraliserad SVM-optimerare. För detta ändamål centraliserar vi data från alla webbplatser och löser SVM-optimeringsproblemet (Eqs. (1)- (3), tillägg A. Missing value imputation görs fortfarande per plats för att säkerställa jämförbarhet av centraliserade och distribuerade resultat. För denna demonstration körs den distribuerade algoritmen i en lokal simuleringsmiljö. Resultaten för lärande och validering på alla platser och den 5-faldiga korsvalideringen finns i tabell 2. Den diskriminativa prestandan vid korsvalidering är blygsam med en validerings AUC på 0,66 men stabil över hela utbildningen (0,62) och validering (0,66). Utbildning AUC är stabila över veck (0, 60- 0, 64) medan inter- faldiga validering AUC varierar avsevärt (0, 57-0, 77). Publicerade modeller [12, 13] visar liknande diskriminerande prestanda. Det enda syftet med de presenterade SVM-modellerna är att visa infrastrukturens funktionalitet och det rekommenderas att inte använda dessa modeller i en klinisk miljö. Koefficienter för SVM som utbildats i EuroCAT-nätverket och för centraliserad inlärning finns i tabell 4. Den individuella körtiden för de 6 inlärningskörningarna i det nuvarande EuroCAT-nätverket var cirka 2 timmar eller mindre med en iteration mellan 300 och 500. Bilda. 2 illustrerar konvergensen av ADMM-resultaten till de centraliserade optimeringsresultaten för alla sex inlärningskörningar. Iterationsnumret är listat på x-axeln, normen för skillnaden mellan ADMM och centraliserade resultat visas på yaxis. Algoritmen kördes för 10 4 iterationer och de iterationer där de interna konvergenskriterierna uppfylls i EuroCAT-nätverket anges med vertikala linjer. I alla sex fall närmar sig lösningen den centraliserade lösningen icke-monotoniskt tills konvergenskriterierna uppfylls och ADMM-algoritmen upphör. De ADMM-baserade SVM:erna sammanfaller inte helt med centraliserade modeller (se tabell 4) eftersom konvergenskriterierna mildrades för att tillgodose den relativt långa nätkommunikationstiden i varje iteration. En centraliserad inlärningsalgoritm bestämmer SVM-koefficienter på mindre tid eftersom det inte finns någon nätverkskommunikation. När man använder ADMM-baserat distribuerat lärande (eller andra distribuerade inlärningsmetoder med upprepad master-site kommunikation) står man alltså inför en avvägning mellan lösningsprecision och beräkningstid. Medan tiden för nätverkskommunikation säkert kommer att tvinga storskaliga simuleringsstudier att vara maximalt parallelliserade (för att minimera inverkan av nätverkskommunikation), förväntas inverkan på prediktionsmodellens utveckling och prestanda vara begränsad: effekten på AUC-baserade diskriminativa prestanda är liten för de exemplariska SVM-modellerna (jämför tabellerna 2 och 3 ) och kan minskas ytterligare med strängare konvergenskriterier (se bild. 2 )............................................................................................................... Ses annorlunda, "tidigt stopp" används i maskininlärning som en legaliseringsteknik för att undvika övermontering [14]. Modeller som lider av övermontering förklarar träningsdata men misslyckas med att korrekt förutsäga resultat i andra datauppsättningar. Därför bör avvägningen mellan lösningsprecision och beräkningstid inte skada målet att utveckla robusta maskininlärningsmodeller för personlig medicin.
Deist REF utvecklade en IT-infrastruktur euroCAT på fem strålkliniker i tre länder och tillhandahöll infrastruktur och distribuerade inlärningsmetoder för lungcancerpatientdata.
Infrastructure and distributed learning methodology for privacy-preserving multi-centric rapid learning health care: euroCAT
{'venue': 'Clinical and translational radiation oncology', 'journal': 'Clinical and translational radiation oncology', 'mag_field_of_study': ['Computer Science', 'Medicine']}