Medicin rekommendation är en viktig hälso-och sjukvård ansökan. Den är vanligen formulerad som en timlig förutsägelse uppgift. Därför använder de flesta befintliga verk endast longitudinella elektroniska hälsojournaler (EHR) från ett litet antal patienter med flera besök utan att bry sig om ett stort antal patienter med ett enda besök (urval partisk). Dessutom utnyttjas inte viktiga hierarkiska kunskaper som diagnoshierarki i processen för representationsinlärning. För att ta itu med dessa utmaningar föreslår vi G-BERT, en ny modell för att kombinera kraften i Graph Neural Networks (GNN) och BERT (Bidirective Encoder Representationer från Transformers) för medicinsk kod representation och läkemedelsrekommendation. Vi använder GNN för att representera de interna hierarkiska strukturerna av medicinska koder. Sedan integrerar vi GNN-representationen i en transformatorbaserad besökskodare och pre-trainerar den på EHR-data från patienter endast med ett enda besök. Den förtränade besök kodare och representation finjusteras sedan för nedströms prediktiva uppgifter på longitudinella EHR från patienter med flera besök. G-BERT är först med att föra in språkmodellen pre-training schema i hälso-och sjukvårdsområdet och det uppnådde state-of-the-art prestanda på medicinering rekommendation uppgift.
Tidigare har BERT tillämpats på EHR-data för att utnyttja omärkta data för läkemedelsrekommendation REF.
Pre-training of Graph Augmented Transformers for Medication Recommendation
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}