T HE INTERNET HAR BÖRJAT ETT IMportant massmedium för konsumenter som söker hälsoinformation och hälso- och sjukvårdstjänster på nätet. 1 En aktuell fråga som rör folkhälsan har varit kvaliteten på hälsoinformationen på World Wide Web. Problemets omfattning och "epidemiologin" (distribution och bestämningsfaktorer) av dålig hälsoinformation på webben är dock fortfarande oklar, liksom deras inverkan på folkhälsan och frågan om dålig hälsoinformation på webben över huvud taget är ett problem. 2 Många studier har genomförts för att beskriva, kritiskt bedöma och analysera konsumenthälsoinformation på webben. Dessa rapporterar normalt andelen felaktig eller ofullständig information som skattningar av förekomsten av felaktig information eller risken för att stöta på felaktig information på webben. Hittills har dock ingen systematisk och omfattande syntes av metoder och bevis gjorts. Två tidigare systematiska utvärderingar inriktades på att sammanställa kvalitetskriterier och värderingsinstrument, men syntetiserade inte utvärderingsresultaten. Jadad och Gagliari 3 granskade icke-forskningsbaserade betygssystem (t.ex. criFörfattare Organisationer: Enheten för Cybermedicin och EHealth, Institutionen för klinisk social medicin, Universitetet i Heidelberg, Heidelberg, Tyskland (Dr Eysenbach); Enheten för hälso- och sjukvårdsforskning, London School of Hygiene and Tropical Medicine, London, England (Dr Powell); Institutionen för medicinsk epidemiologi, Biometri och informatik, University of Halle-Wittenberg, Halle/Saale, Tyskland (Dr Kuss); och Global Health Network Group, Institutionen för epidemiologi, University of Pittsburgh, Pittsburgh, Pa (Ms Sa). Dr Eysenbach är nu med Centre for Global eHealth Innovation, Toronto General Hospital, Toronto, Ontario. Motsvarande författare och reprints: Gunther Eysenbach, MD, Centre for Global eHealth Innovation, Toronto General Hospital, 190 Elizabeth St, Toronto, Ontario,. Kvaliteten på konsumenthälsoinformationen på World Wide Web är en viktig fråga för medicinen, men hittills har ingen systematisk och omfattande syntes av metoderna och bevisen utförts. För att fastställa en metodologisk ram för hur kvalitet på webben utvärderas i praktiken, för att bestämma heterogeniteten i resultaten och slutsatserna, och för att jämföra metodologisk stelbenthet i dessa studier, för att avgöra i vilken utsträckning slutsatserna beror på vilken metod som används, och för att föreslå framtida inriktningar för forskning.. Vi genomförde också handsökningar, allmänna sökningar på Internet, och en personlig bibliografisk databassökning. Datakällor Vi sökte igenom MEDLINE och PREMEDLINE (1966 throughSeptem Vi inkluderade publicerade och opublicerade empiriska studier på alla språk där prövarna sökte igenom webben systematiskt för specifik hälsoinformation, utvärderade kvaliteten på webbplatser eller sidor och rapporterade kvantitativa resultat. Vi kollade 7830 citeringar och hämtade 170 potentiellt berättigade full artiklar. Totalt 79 olika studier uppfyllde inklusionskriterierna, utvärderade 5941 hälsowebbplatser och 1329 webbsidor, och rapporterade 408 utvärderingsresultat för 86 olika kvalitetskriterier. Två granskare självständigt extraherade studieegenskaper, medicinska domäner, sökstrategier som används, metoder och kriterier för kvalitetsbedömning, resultat (procent av platser eller sidor som bedöms som otillräckliga avseende ett kvalitetskriterium), och kvalitet och rigor av studiemetoder och rapportering. De vanligaste kvalitetskriterier som används är noggrannhet, fullständighet, läsbarhet, utformning, upplysningar och hänvisningar. Femtiofem studier (70 %) visade att kvalitet är ett problem på webben, 17 (22 %) förblev neutrala och 7 studier (9 %) kom fram till en positiv slutsats. Positiva studier visade signifikant lägre resultat vid sökning (P=.02) och utvärdering (P=.04). Slutsatser På grund av skillnader i studiemetoder och stelbenthet, kvalitetskriterier, studiepopulation, och ämnesval, studieresultat och slutsatser om hälsorelaterade webbplatser varierar mycket. Det behövs operativa definitioner av kvalitetskriterier. - Ja, det är jag. 2002:287:2691-2700 www.jama.com För redaktionella kommentarer se s 2713. (Reprinted) JAMA, 22/29 maj 2002-Vol. 287, nr. 20 2691 teria används för "utmärkelser", "seals of godkännande", eller gateways) publiceras på Internet men inte inkluderar betygssystem som publiceras i peer-reviewed litteratur. Kim et al 4 sammanställda instrument eller kriterier som föreslagits för att utvärdera webbplatser, men det är oklart i vilken utsträckning och med vilka resultat dessa kriterier kan vara och har tillämpats i praktiken. Enligt vår kunskap är detta den första systematiska utvärdering som görs för att sammanställa kriterier som faktiskt används och för att syntetisera utvärderingsresultat från studier som innehåller kvantitativa data om struktur- och processmått på hälsoinformationens kvalitet på webben. Syftet med denna studie var att fastställa en metodologisk ram för hur "kvalitet" på webben utvärderas i praktiken, att fastställa hur heterogena resultaten och slutsatserna är, att jämföra metodologisk stelbenthet i dessa studier, att avgöra i vilken utsträckning slutsatserna beror på vilken metod som används och att föreslå framtida riktlinjer för forskningen. METODER Införlivande och uteslutningskriterier fastställdes i förväg i ett skriftligt protokoll. Studier inkluderades när deras författare: 1) genomsökte World Wide Web systematiskt efter hälsoinformation (t.ex. för att identifiera alla konsumentwebbplatser för ett visst ämne) eller tydligt definierade en uppsättning specifika hälsoinformationstjänster som ska inkluderas, 2) utvärderade information som konsumenterna sannolikt kommer att få tillgång till, 3) utvärderade kvaliteten på hälsoinformation eller hälsotjänster mot vissa kriterier, t.ex. genom att bedöma källmyndigheten, bedöma riktigheten i information, läsbarhet eller fullständighet, eller genom att jämföra Internetinformation och tjänster med dem utanför Internet, och 4) lämnade kvantitativa resultat, t.ex. andelen webbplatser som uppfyller kvalitetskriterierna eller fördelningen av kvalitetsresultat, eller information om läsbarhetsnivån i urvalet. Studier uteslöts om författare helt enkelt listade "kvalitets" webbplatser utan att ange att de hade utfört en omfattande, systematisk sökning, om de inte angav kvalitetskriterier, eller om de inte kvantifierade hur många webbplatser som bedömdes totalt eller hur många som inte uppfyllde kvalitetskriterier. Vi uteslöt också studier som utvärderar verktyg som möjliggör eller underlättar tillgång till hälsoinformation, såsom sökmotorer, kataloger, hälsoportaler, betygssystem och granskningstjänster, eller studier som jämför olika metoder för informationshämtning. Teoretiska dokument som endast beskrev kvalitetskriterier uteslöts också, liksom kvalitativa beskrivningar av Internetinnehåll. Vi inkluderade inte studier som handlade om annat innehåll än hälsoinformation, eller studier som utvärderade information som inte är avsedd för konsumenter (t.ex. de som tillhandahåller fortlöpande medicinsk utbildning), men vi inkluderade studier som utvärderar tjänster och information som kan komma att användas av både yrkesverksamma och konsumenter (t.ex. de som tillhandahåller information om läkemedel). Studier som utvärderade en enda webbplats eller applikation uteslöts, liksom studier som uteslutande inriktades på integritets- och säkerhetsfrågor, eller på interaktioner via diskussionsgrupper eller e-post. Vi sökte alla relevanta studier och opublicerade rapporter, oavsett språk eller peer-review/publication status. Vi sökte igenom MEDLINE och PREMEDLINE (1966-september 2001) (1997 (-september 2001, Social Sciences Citation Index (1997 (-september 2001) och Arts and Humanities Citation Index (1997-september 2001) söktes med hjälp av både en traditionell bakåtsträvande sökstrategi (1120 träffar) och med hjälp av en framåt citering-sök strategi, med hjälp av 5 seminal uppsatser inom detta område [3] [4] [5] [6] [7] som "såddpublikationer" för att identifiera alla publikationer som senare citerade 1 av dessa uppsatser (533 träffar). Vi kontrollerade också referenserna för alla identifierade studier, handsökte Journal of Medical Internet Research (eftersom det innehåller relevanta studier och eftersom det vid den tidpunkten ännu inte indexerats på MEDLINE), genomförde allmänna sökningar på Internet med hjälp av kombinationer av sökorden på Google och Northern Light sökmotorer, granskade 3 bibliografier av konsumenthälsoinformationsstudier som sammanställts av akademiska institutioner, och använde privata litteraturdatabaser. Totalt granskade vi 7830 citeringar och hämtade 165 potentiellt berättigade fullständiga artiklar för att avgöra om de uppfyllde integrationskriterierna. Artiklar på ungerska, japanska, franska, spanska, nederländska och italienska översattes av professionella översättare till engelska eller tyska. Två granskare (G.E., J.P.) självständigt extraherade studieegenskaper med hjälp av elektroniska data utdrag former, upprätthålla alla data i en Access-databas (Microsoft Corp, Redmond, Wash). Varje utdragsformulär innehöll 85 punkter, varav 43 var avslutade frågor, varav de flesta skulle besvaras på en skala (ja/nej/delvis/ej tillämpligt/ska diskuteras). Vi extraherade information om sökstrategier som används, kvalitetskriterier tillämpas, och metodik för kvalitetsbedömning som används av författare, samt kvalitet och rigor av Vi bedömde den övergripande tonen i författarnas slutsatser som "negativ" om författarna var försiktig och pessimistisk om webben som en källa för hälsoinformation, "positiv" om författarna inte uttryckte oro eller rekommenderade webben som en källa för hälsoinformation, eller "neutral" om författarna diskuterade både risker och fördelar, eller om granskarna inte höll med. För att ta fram utvärderingsresultat från varje studie, tog en granskare fram uppgifter om hur många webbplatser eller webbsidor som utvärderades för varje kvalitetskriterium och hur många av dem som utvärderades inte uppfyllde respektive kriterium. För att fastställa interobserverns tillförlitlighet för alla kodade poster beräknade vi standardvärden för varje extraherad post som rapporterats på en binär skala (t.ex. studie: ja/nej) eller viktade värden för ordinala resultat (t.ex. studieegenskaper som graderats på en skala [ja/delvis/nej]). Vi beslutade i förväg att inte inkludera objekt med värden under 0,6. För den slutliga konsensuskodning som används för analys, granskare granskade alla meningsskiljaktigheter eller punkter kodade "att diskuteras" och löste dem genom omfattande diskussion. Vi använde metaanalys av proportioner 9 för att testa för homogenitet av resultat för kvalitetskriterier som har använts av 3 eller fler författare för att bedöma webbplatser. Vi samlade studieresultat för ett givet kvalitetskriterium om antagandet om homogenitet inte kunde förkastas på en signifikanssnivå som var lägre än.05. För att testa om de olika slutsatserna från studierna kunde förklaras med deras olika kvalitetsresultat jämförde vi studieutvärderingspoängen för studiegrupper med hjälp av Wilcoxon-testet och logistisk regression. Alla beräkningar gjordes med SAS versionerna 6.12 och 8.2 (SAS Institute Inc, Cary, NC). Vi sammanfattade kvaliteten på rapporteringen och stelheten i studierna genom att kontrollera om författarna rapporterade vissa poster som ansågs viktiga för en välrapporterad, systematisk och omfattande sökstrategi på Internet (dvs. S-poäng för sökkvalitet; intervall, 0-8 [översatt till procentpoäng]), och objekt som ansågs indikera en rigorös utvärdering (dvs. E-poäng för utvärderingskvalitet; [intervall, 0-10 [översatt till procentpoäng]). För att fastställa den faktiska giltigheten sammanställdes en första förteckning över kandidatposter av två granskare (G.E., J.P.) oberoende av varandra och senare i samförstånd. Eftersom studier som systematiskt utvärderar webbinformation på sätt och vis liknar systematiska forskningsöversikter, kan kandidatkriterierna för S-poäng delvis härledas från motsvarande checklistor. 10 För att fastställa poängen tillförlitlighet, vi eliminerade objekt för vilka var mindre än 0,6; de återstående objekten visas i tabell 1. En punkt angavs per rapporterad post för att beräkna en rå summering poäng för sökkvalitet och utvärdering kvalitet. Den slutliga rapporterade S-score och E-score 36,90 -Completeness utvärderas som en del av noggrannheten. § Använde inte läsbarhet formler, men subjektivt utvärderade läsbarhet eller begriplighet av innehåll. Definierar datum mycket brett, t.ex. bara nämnde året. ¶Användt 1 meta-sök motor, och inget annat. #Undersökningar som endast använde kataloger (t.ex. Yahoo) som sökverktyg klassades NA om sökord inte nämndes. **Patientförespråkare som är involverade i att ställa frågor. † †Studies använde inte mänskliga mätare, eftersom de använde automatiska metoder endast för att bestämma läsnivån. En delmängd av webbplatser utvärderades av mer än 1 taxer, en andra person tillfrågades när det rådde tveksamhet, eller ratinginstrumentet pilottestades av 2 taxare för att fastställa interritoriell tillförlitlighet. ©2002 American Medical Association........................................................................................................... Alla rättigheter förbehållna. I ONLINE TABELL A (http://jama.com) står det för procentandelarna av de maximala poäng som kan uppnås för varje studie (eftersom vissa punkter inte är tillämpliga för vissa studier). För att testa konstruktionens giltighet jämförde vi poängen med 5 bokstäver till redaktören med poängen i de 74 fullständiga publikationerna. Som förväntat hade bokstäverna i genomsnitt lägre S-poäng (28,8 mot 44,2, P =,06), men liknande E-poäng (22,4 mot 33,5, P=,45). De 7 artiklar som publicerades i peer-reviewed icke-Engelska språk tidskrifter hade lägre genomsnittliga Escore än artiklar publicerade i engelska tidskrifter (medelvärde E-score: 18,6 vs 34,8, P = 0,09, medan deras S-score var liknande (medelvärde S-score: 42,3 vs 44,5, P=,85). Även om dessa skillnader inte är betydande på 5 procents nivå, kanske på grund av det lilla studieantalet, går trenden i den förväntade riktningen. RESULTAT Av 170 artiklar som granskats uppfyllde 85 kriterierna för införande 11–95 (Online Table A ). Dessa utgör 79 distinkta studier, eftersom 6 studier publicerades antingen i två exemplar, 26,27,50,51,92,93 på ett fragmenterat sätt, 87,88 eller rapporterades både i en peer-reviewed publikation och i en opublicerad form. 14, 15, 68,69 I dessa fall samlade vi resultaten från de olika artiklarna och hänvisade till dem som en enda studie. Tabell 1 sammanfattar, och Online Tabell A listor, alla inkluderade studier. Tekniska kriterier (T)."Tekniska" kvalitetskriterier definierades som allmänna, domänoberoende kriterier, dvs. kriterier som hänför sig till frågan om hur informationen presenterades eller vilken metainformation som tillhandahölls. De 24 tekniska kvalitetskriterier som oftast används (upphovsrätt, tilldelning, offentliggörande och valuta). Medan det senare strikt är en dimension av noggrannhet, nästan alla studier sökte för tillhandahållande av ett datum för skapande eller senaste uppdatering (snarare än den faktiska valutan för innehållet), vilket är ett tekniskt kriterium. Femton studier utvärderade också subjektiva designfunktioner såsom den visuella aspekten av platsen eller layouten, men endast ett fåtal studier rapporterade resultat (ONLINE TABELL B), förmodligen på grund av deras subjektivitet och låg tillförlitlighet. Till exempel använde Gillois et al 39 en visuell analog skala för att bedöma kvaliteten på visuell presentation och gränssnittet, men noterade hög interobservervariabilitet. Stausberg et al 81 rapporterar a på 0,08 vid utvärdering av navigering och 0.23 vid utvärdering av layout. Hastighet, webbläsarkompatibilitet och närvaro av en sökmotor ansågs vara tekniska kriterier. Läsbarhet (R). Elva studier använde läsbarhetsformler för att fastställa läsnivån i ett dokument baserat på komplexiteten och längden på ord och meningar (Online tabell B ). Nio studier använde Flesch-Kincaid (FK) grade Level Index. Andra formler som används är SMOG Readability Formula, Fry Readability Graph, Gunning-Fog formel, och Lexile Framework. Eftersom olika formler ger olika läsnivåer för samma dokument, och eftersom författare använder olika cutoffs, resultaten kan inte poolas, men studier tyder på att läsnivåer ofta är för höga (Online tabell B ). Använda läsformler har begränsningar, eftersom läsbarhet poäng inte återspeglar andra faktorer som påverkar förståelse såsom frekvens och förklaring av medicinsk jargong, skrivstil *De flesta kriterier klassificeras som "tekniska" kriterier, utom "balanserade bevis" (kodad som "fullständighet") och "skrivstil lämplig" (kodad som "läsbarhet"). †Proportioner inom parentes måste tolkas med försiktighet, eftersom dessa baseras på studier vars resultat varierar avsevärt (dvs. är statistiskt heterogena). Resultaten är inte tillräckligt homogena för att poolas. §Signifikant heterogenitet (P.05); resultaten är inte tillräckligt homogena för att poolas. Noggrannhet (A). Noggrannhet kan definieras som graden av överensstämmelse mellan den information som lämnas med de bästa bevisen eller med allmänt vedertagen medicinsk praxis. Alternativa termer som används för begreppet "noggrannhet" omfattar "tillförlitlighet" 51 eller "informationens standarditet". 79 Vi kodade 2 studier som att bedöma noggrannhet "delvis", eftersom författare hävdade att ha utvärderat "värde och mängd text" utan att närmare specificera hur de definierar "värde". 36,90 Författare som bedömde riktigheten och/eller fullständigheten kunde antingen i förväg definiera tydliga kriterier (a priori) eller ta fram information från webben först och sedan kontrollera dessa påståenden mot litteraturen (a posteriori). Trettio studier bedömde noggrannhet i efterhand, och endast 19 a priori (Online tabell A ). Studier som definierar element a priori varierade avsevärt i granularitet och specificitet av de objekt som definierats i förväg: till exempel, 1 studie uppgav att "paracetamol bör ges i en dos på 10 till 15 mg/kg var 4: e timme," 51 medan andra bara fördefinierade breda nyckelord som bör nämnas, t.ex. "östrogen". 75 Noggrannhet bör helst definieras med hjälp av bästa tillgängliga bevis. 5 Fjorton studier använde evidensbaserade riktlinjer eller systematiska utvärderingar för att definiera element a priori och 1 studie använde en riktlinje som kriterium standard a posteriori. Elva studier använde primärlitteratur för en jämförelse i efterhand, men med undantag för 89 gav dessa studier inga detaljer om hur och vilken litteratur som granskades, vilket lämnade möjligheten öppen att vissa författare inte faktiskt sökte litteraturen, utan bara jämförde information mot deras egna kunskaper i litteraturen. Textböcker eller expertsamförstånd användes som kriteriumstandard i 3 a priori och 3 a posteriori studier. 29,54,55,64,70,84 I de återstående studierna användes oklara källor eller författarens personliga uppfattning som kriteriumstandarden a priori (2 studier) eller a posteriori (15 studier). Fullständighet/Sammanfattning/ Täckning/Scope (C). Flera metoder användes för att utvärdera "fullkomlighet", "förnuft", "täcke" eller "scope". De flesta författare * beräknade en andel av en priori-definierad element som täcks av en webbplats eller rapporterade andelen av webbplatser som nämnde alla viktiga element (t.ex. från en klinisk riktlinje). Willems och Bouvy 92,93 använde en 5-punktsskala för att utvärdera fullständigheten. En studie 11 utvärderade "balans", t.ex. om de negativa effekterna och kontraindikationer samt fördelarna med ett läkemedel presenteras, men detaljerade underkriterier gjordes inte explicita. Soot score 13, 46,58,79 behandlar fullständighet genom att mäta täckning av ämnesområden definierade a priori, viktning vissa områden som viktigare än andra. Medan 19 studier utvärderade fullständigheten som en distinkt enhet, 21 andra studier utvärderade fullständigheten som en integrerad del av noggrannheten (markerad "AC" i Online tabell A). Till exempel rapporterade Impicciatore et al 51 att endast 4 av 44 webbplatser "följde riktlinjerna", vilket innebär att dessa webbplatser var både korrekta och fullständiga, medan Davison 27 endast bedömde riktigheten av uttalanden på webbplatsen mot respektive uttalande i riktlinjen utan att kräva att alla rekommendationer från näringsriktlinjer visas på webbplatsen. Även om det är möjligt att utvärdera noggrannheten utan att kräva fullständighet, så väcker studier där författarna bara har utarbetat checklistor för fullständighet ibland frågan om hur och i vilken utsträckning riktigheten har utvärderats. 29,35,54,55,75 Till exempel, Soot 79 poäng är en viktad checklista som ger poäng för varje brett ämne som omfattas av webbplatsen (såsom "behandlingsalternativ"), men inte anger om ämnen var bara närvarande eller frånvarande eller om de utvärderades för noggrannhet. Av de 19 studier som utvärderade fullständigheten som en särskild enhet använde 5 studier en extern källa a priori för att definiera element: 2 använda evidensbaserade riktlinjer, 2 använda primärlitteratur, och 1 använde en lärobok. I de återstående studierna användes oklara källor eller författarens personliga uppfattning, antingen i förväg (7 studier) eller i efterhand (7 studier). Tjugotvå studier † använde ett sammansatt poängsystem, oftast Soot score, 13, 46,58,79 för att följa kvalitetskriterier. Två studier 38,87 använde DISCERN 96 och en annan använde Lämplighet Assessment of Materials (SAM), 65 båda beskrivs av sina utvecklare som "validerade" instrument för att bedöma tryckt patientutbildningsmaterial; dock har ingen av dessa validerats på ett sådant sätt att en högre poäng skulle förutsäga bättre hälsoresultat eller konsumentnöjdhet. Kvalitetspoängen för varje studie visas i Online Table A. Av de 79 studierna fick 49 ett S-poäng och ett E-poäng på 50 eller mindre, vilket tyder på att både sökstrategi och utvärdering inte var välrapporterade eller rigorösa. Av de 31 studier som använde mer än 1 taxer gjorde 20 emellertid ansträngningar för att förvissa sig om att deras instrument var tillförlitliga inom studien, vilket står i kontrast till vad som kritiserats i en tidigare studie om webbaserade instrument. 97 De flesta undersökningar (55 [70 %]) drog slutsatsen att kvalitet är ett problem på Internet ( [12] [13] [15] 22, 29, 35, 37, 42,[44][46][46] 50, 51,[54][55][56] 58, 59, 70, 75, 78, 79, 85, 92, 93, 95. †Referenser 11, [13] [14] [15] 23, 31, 35, 36, 38,[42][43][44] 46, 58, 59, 70, 72, 74, 75, 78, 79, 87, 90. *Referenser ©2002 American Medical Association. Alla rättigheter förbehållna. För kodning slutsatser, 0,88. Sjutton (21,5%) var neutrala. Endast 7 (9 %) kom fram till en mer positiv slutsats, av vilka ingen använde evidensbaserade riktlinjer som kriterium. Medelvärdet för S-poängen i de positiva studierna var signifikant lägre än för de negativa studierna (29,4 mot 45,0; P=,02), liksom för E-poängen (15,6 mot 37,9; P=,04), vilket tyder på att de mer entusiastiska studierna använde en mindre rigorös sök- och utvärderingsstrategi än negativa studier. I en logistisk regressionsmodell med både poäng som prediktiva variabler och studieslutsatsen "positiv/negativ" som den beroende variabeln är oddskvoten (OR) för S-poäng 0,929 (95 % konfidensintervall [CI], 0,871-0,991; P=.02), dvs för varje ytterligare S-poängprocentenhet minskar oddsen för att nå en positiv slutsats med 7,1 %; ELLER för E-poäng är 0,938 (95 % KI, 0,884-0,996; P=.04), dvs för varje ytterligare E-poäng minskar oddsen för en positiv slutsats med 6,2 %. När studierna utvärderade riktigheten var andelen felaktiga webbplatser beroende av nivån på de bevis som användes som kriteriumstandard: studier som inte rapporterade kriteriumstandarden eller som använde personlig åsikt fann i genomsnitt 15,4 % av webbplatserna felaktiga; de som använde litteratur, läroböcker eller expertsamförstånd, 35,3 %; och de som använde kliniska riktlinjer, 38,3 %. I en ordinal logistisk regressionsmodell var de rapporterade andelarna av felaktiga webbplatser signifikant förknippade med de 3 bevisnivåer som författarna använde som kriteriumstandard (P.001). Även om författarna hade liknande resultat, tolkade de ibland dessa olika. Till exempel, 3 studier fann att cirka 5% av cancer webbplatser gav felaktig information, men dessa resultat tolkades som "av oro," 16 "främja", 76 eller till och med "säkra". 46 I minst 1 fall granskade utredarna samma ämnesområde, men kom fram till motsatta slutsatser. 28,75 Vi granskade 79 studier där författarna utvärderade totalt 5941 webbplatser och 1329 webbsidor, och rapporterade 408 utvärderingsresultat för 86 distinkta kvalitetskriterier (Online tabell B ). I vår recension fann de flesta författare som utvärderade innehåll betydande problem, kritiserande brist på fullständighet, svårigheter att hitta högkvalitativa webbplatser, och brist på exakthet, särskilt om "noggrannhet" också innebar "fullständighet". Fem av åtta studier som rapporterade resultat om fullständighet visade att cirka 90 % av webbplatserna var "ofullständiga" (Online Table B ). Fullständigheten som ett krav har dock diskutabel giltighet ur användarens eller folkhälsoforskarens perspektiv. För det första kan alltför mycket information belasta användarna. Webbplatser kan medvetet och med goda skäl fokusera på ett enda ämne i djupet snarare än att sikta på fullständighet. För det andra, i motsats till tryckt undervisningsmaterial, är en enda webbsida eller webbplats en del av ett universum av information: ett ämne som inte täcks av en webbsida eller webbplats kan täckas av en annan (kanske länkad) webbsida. Konsumenterna söker vanligtvis på olika webbplatser när de letar efter specifik hälsoinformation. 98 Mekanisk jämförelse av element från en riktlinje med element som omfattas av en enda webbplats utan att ta hänsyn till sammanhanget och syftet med webbplatsen eller utforska länkar till andra webbplatser är av begränsad användning. Kanske ett bättre tillvägagångssätt skulle vara att utvärdera om materialen täcker de ämnen som de påstår sig diskutera 96,99 och om de är balanserade. För det första är resultaten i hög grad beroende av den metod som används: studier som använde personlig åsikt som kriterium fann färre felaktiga webbplatser och kom oftare till en positiv slutsats än studier med strängare kriterier. För det andra använder många studier termerna "webbplats" och "webbsida" utbytbart, vilket gör jämförelser svåra. För det tredje användes olika och ofta dåligt beskrivna provtagnings- och urvalsstrategier. Medan i teorin ett verkligt slumpmässigt urval av webbplatser kan identifieras (genom att välja slumpmässiga Internet protokoll [IP] adresser 100 ), är detta tillvägagångssätt inte praktiskt för att identifiera webbplatser för ett visst ämne. Alla studier använde alltså sökmotorer, kataloger eller listor över populära webbplatser. Valet av sökstrategi kan dock i hög grad förvirra resultaten. De flesta studier imiterade hur konsumenterna skulle söka (även om endast 3 involverade faktiska konsumenter), handval populära webbplatser. Eftersom det inte finns något samförstånd och lite forskning om hur en typisk konsument sökningar, 98 studier använde olika strategier, mestadels plocka topprankade resultat från en sökmotor. Eftersom många sökmotorer kan ranka bättre webbplatser först, sökverktyget kan påverka resultaten. Dessutom kan även samma sökmotor ge ett annat resultat om olika provtagningsstrategier (dvs. vilka platser som plockas) används. Till exempel, Suarez-Almazor et al 83 visade att i Webcrawler sökmotor, de första 20 rankade hits är mer relevanta, har mindre ekonomiska intressen, innehåller mindre alternativa terapier, och är oftare ideella organisationer, än webbplatser rankas lägre. Dessutom kan valet av sökord kritiskt avgöra vilka webbplatser som hämtas. Till exempel, att använda termen "koronar hjärtsjukdom", Eachus 31 fann bara 2 platser (bland 110) som tillhandahålls av lekmän. Hans slutsats att "bekymret att Internet skulle vara en viktig källa till hälsoinformation av låg kvalitet, särskilt den som tillhandahålls av okvalificerade medlemmar av lekmän, inte stöds av [våra] fynd" kan bero på valet av söktermer, eftersom lekmän kanske inte nödvändigtvis använder termer som "koronar hjärtsjukdom". Vem som utformar sökstrategin och genomför sökningen kan också påverka kvaliteten på de återvunna platserna. Till exempel, i en jämförelse av resultaten av en sökning som utarbetats av läkare med en sökning som utarbetats av informationsexperter, Groot et al 43 observerade skillnader i trovärdighet och noggrannhet poäng av de återvunna prov. Kvaliteten på webbplatser bör tolkas i ett större sammanhang av information i andra medier för att avgöra om webben är "början av en epidemi av desinformation eller ingenting mer än en variation av vad som är endemiskt". 2 Många av de brister som upptäckts är sannolikt inte specifika för webben och finns också i andra medier. Till exempel, 2 av de 4 "erronösa information" element som finns på 65 webbsidor identifierade av Biermann et al 16 hittades i online-versionen av Encyclopaedia Britannica, som förmodligen har samma felaktigheter i den tryckta utgåvan. Denna fråga, och den relativt låga prevalensen (6,2 %) av felaktig information, ignorerades i allmänhet när denna studie allmänt citerades i lekmannamedierna som bevis för att "Internet kan vara en snabb länk till dålig hälsoinformation". 101 Studier som utvärderar information i traditionella medier rapporterar också ofta höga prevalenser av felaktig eller ofullständig information. I en tidig studie fann författarna att 70 procent av hälsoinformationen som sänds på TV är felaktig, vilseledande eller både och. 102 I en annan studie bedömde författarna att 76 % av informationen om munhygien från TV, 53 % från tidskrifter och 12 % från tidningar var felaktig. 103 En annan studie av den populära pressen fann 20% av informationen om oral cancer som en "mix av korrekt och felaktig information." 104 Andelen felaktiga pressmeddelanden om hälsosamt ätande konstaterades vara 55 % i gratisreklamtidningar, 28,9 % i livsstilstidningar, 29,9 % i allmänna tidskrifter, 17,5 % i hälsotidningar och 14,1 % i tidningar. 105 I en annan studie bedömdes 50 % av råden i tidningskolumnerna vara olämpliga, och kritiska frågor täcktes endast delvis eller inte alls av 76 % av artiklarna, och 58 % bedömdes som farliga eller potentiellt farliga. 106 Förfrågningar per telefon till bibliotek gav 3,6 % felaktig information. Det upplevda kvalitetsproblemet på Internet är inte begränsat till hälso- och sjukvårdssektorn: en undersökning som undersökte kvaliteten på allmän vetenskaplig information visade att 10–34 % var felaktigt, 20–35 % var vilseledande och 48–90 % saknade referenser. Mycket få studier i vårt urval jämförde direkt Internetinformation med information som finns på andra ställen. En studie 35 utvärderade både tryckt och webbaserat patientutbildningsmaterial och drog slutsatsen att "det inte fanns någon signifikant skillnad mellan intervallen av poäng [inkorporera innehåll, skrivstil, design och läsbarhet] för Internet och icke-Internet-broschyrer", men subjektivt ansåg författarna att "den övergripande kvaliteten på Internet-broschyrerna var mer varierande och informationen mindre omfattande." I två studier jämfördes läsbarheten hos Internetinformation med läsbarheten hos tryckt information. I en studie 33 drogs slutsatsen att SMOG:s läsbarhetsnivåer av Internetinformation var signifikant högre jämfört med andra (tryckta) patientinformationsmaterial; i den andra studien konstaterade 65 inga skillnader i andelen patientinformation som skrevs över nivån 9, men 87,5% av webbinformationsmaterialen jämfört med endast 14,3% av den tryckta patientinformationen bedömdes som olämpliga baserat på poäng för lämplighetsbedömning av material (det 8 webbaserade patientutbildningsmaterialet kom dock från endast 2 olika webbplatser, vilket kanske inte var representativt). Vi identifierade endast 1 studie som jämförde exaktheten av råd som erhållits på Internet (i en apoteks nyhetsgrupp, därav denna studie uteslöts från denna översyn) med råd som erhållits i den verkliga världen (från droginformationscentra). Sammanfattningsvis är det svårt att tolka eller jämföra de prevalenssiffror för felaktig eller ofullständig webbinformation som rapporteras i studierna, sannolikt inte representativa eller allmänna, och de måste också beaktas mot bakgrund av bristfällig konsumenthälsoinformation i andra medier. De presentationskriterier som de flesta utredare utvärderat anses vara kvalitetskriterier eftersom 1) deras närvaro anses vara etisk enligt flera uppförandekoder för webbpublicering 110–114 (t.ex. kriterier för öppenhet och ansvarsskyldighet, t.ex. utlämnande av författarskap), 2) de bidrar till att skapa sammanhang och undvika missförstånd (t.ex. avslöjande av sponsring, syfte), 3) de ger användarna möjlighet att välja den information som är bäst för dem i deras individuella situation (t.ex. avslöjande av målgrupp), 4) de ger användarna möjlighet att själva validera informationen (t.ex. referenser, kontaktadresser), eller 5) de kan påverka informationens tillgänglighet eller effektiviteten i kommunikationen (t.ex. sökförmåga, snabbhet, design). Dessutom har flera författare försökt fastställa om tekniska kriterier eller andra platsegenskaper kan användas som prediktorer för innehållskvalitet, 11, 42,47,58,87,91 men resultaten har varit motstridiga och ofullständiga. Ett antal studier visade, kanske föga förvånande, att ett dokuments längd är korrelerad med bättre innehållspoäng. 42,58,87 Några studier tyder på att källan kan vara en prediktor för innehållskvalitet, med kommersiella webbplatser ofta poäng lägre än akademiska platser, 59,74,75 fartyg, verkar det osannolikt att ett enkelt poängsystem skulle kunna utvecklas som förutsäger innehållskvalitet mellan domäner och platspopulationer. I likhet med innehållskriterierna hindras förmågan att jämföra eller sammanställa resultat mellan olika studier av stora variationer i provtagningsstrategier, metoder och operativa definitioner även för samma kvalitetskriterier (t.ex. vad som utgör "attribution"). Dessutom finns det inget samförstånd om utvärderingsenheten (t.ex. om uppdateringscykeln offentliggörs på varje webbsida, eller om det är tillräckligt med platsspecifikt offentliggörande) eller med vilken information bör tillhandahållas (t.ex. är det tillräckligt att posta året för senaste uppdatering, eller om det exakta datumet anges). Trots denna brist på samförstånd, vissa kvalitetskriterier ges konsekvent (t.ex., "ägarskap avslöjande", med 99% av webbplatser som ger information) eller inte (t.ex., "tillgodohavande läkare som inte avslöjas," med 97,5% inte uppfyller) (tabell 2). I likhet med innehållskriterierna bör presentationskriterierna sättas i sitt sammanhang i jämförelse med icke-webbbaserad information. Medan 64 % av webbplatserna i vår studie misslyckades med att ge ett datum för uppdatering, har utredare som utvärderar tryckta patientbroschyrer funnit att 53 %, 35 eller, i en annan studie, en tredjedel, 115 inte innehöll publiceringsdatum. Eftersom de flesta författare använde kriterier som härletts från den tryckta världen, 7 vi noterade viktiga utelämnanden avseende Webspecifika kriterier. Till exempel, mycket få studier utvärderade sekretesspolicyn eller möjligheten att kryptera konfidentiell information, och få studier kontrollerade om målgruppen eller mållandet (som är viktigt i ett globalt medium 116 ) tydligt avslöjades. Ingen av studierna testade användbarhet 117 eller tillgänglighet (t.ex. överensstämmelse med riktlinjerna i Web Accessibility Initiative, säkerställande av att webbplatsen är tillgänglig för personer med funktionshinder eller med low-end-teknik), och endast en studie kontrollerade om metadata tillhandahölls, 76 vilket i hög grad skulle kunna förbättra konsumentens förmåga att välja och filtrera information. 6 Bland folkhälsomålen för US Department of Health and Human Services är att "öka andelen hälsorelaterade World Wide Websites som lämnar ut information som kan användas för att bedöma kvaliteten på webbplatsen". 118 Hur framsteg på detta område kan uppnås eller utvärderas är en öppen fråga. En metaanalys av tvärsnittsstudier är ett möjligt sätt, men man måste ta hänsyn till de olika metoder som används (eller metoderna måste standardiseras) innan meningsfulla slutsatser kan dras. Longitudinella studier kan användas för att bedöma förändringar över tid, med hjälp av en konsekvent metod antingen för att identifiera och bedöma webbplatser för ett visst ämne (med förbehållet att observerade förändringar kan vara förändringar i användarnas förmåga att hitta bättre webbplatser, dvs förbättringar i sökmotorteknik för att rangordna bättre platser först) eller för att följa upp en kohort av webbplatser. Två studier har försökt en longitudinell strategi, med motstridiga resultat; den ena observerade en förbättring, och den andra en försämring, i kvalitet. 36,57,90 Den tredje möjligheten är att främja bland webbplatsutvecklare användningen av maskinbearbetade redovisningar som webbplatsetiketter (meta-data), 6,119 som skulle möjliggöra automatisk spårning och analys av andelen och egenskaper av webbplatser som gör sådana avslöjanden. Detta skulle också underlätta utvecklingen av intelligenta system som kan vägleda användare till tillförlitliga webbplatser. 120 Epidemiologin av konsumenthälsoinformation på webben är en framväxande forskningsdisciplin i skärningspunkten mellan medicinsk informatik och folkhälsa. Många beskrivande, tvärsnittsstudier har försökt att uppmärksamma upplevda "utbrott" av felaktig information på webben genom att uppskatta andelen eller prevalensen av otillräcklig hälsoinformation. Individens risk (R) att stöta på en otillräcklig webbplats på webben är dock en funktion av både andelen otillräcklig information på webben (P) och oförmågan (I) för individen (eller hans verktyg) att filtrera otillräckliga webbplatser. Eftersom studier vanligtvis rapporterar R, men inte I, kan vi inte dra slutsatsen P, eller justera studieresultat för att göra dem jämförbara över domäner eller tid. Även om vi kunde känna till P, skulle vi fortfarande inte veta hur denna mätning av "sann" felaktig information på webben översätter till hälsoresultat eller kritiska incidenter i en befolkning. På individuell nivå kan R minskas genom att förbättra användarens förmåga att hitta tillförlitliga webbplatser eller filtrera de otillräckliga. Offentliga e-hälsoinsatser som MedCERTAIN 121 strävar därför efter att minska P och I genom att till exempel öka andelen leverantörer av hälsoinformation som lämnar information 119 och genom att ge konsumenterna möjlighet att identifiera betrodda webbplatser genom pedagogiska och tekniska innovationer, inklusive de möjligheter som den semantiska webben erbjuder. Med tanke på svårigheten att tolka beskrivande studier utan kontroll- eller jämförelsegrupper bör framtida studier använda analytiska snarare än beskrivande metoder för att undersöka sambandet mellan kvalitetsmarkörer och andra variabler, inklusive utfall, eller för att jämföra olika populationer eller medier på webbplatser. Sådana studier behövs omgående för att hjälpa till i den pågående processen att utveckla metoder och instrument för att vägleda konsumenterna till kvalitetsinformation och för att identifiera faktorer som kan bedömas för att förutsäga gynnsamma patientresultat. Slutligen bör studier som utvärderar innehållet också utnyttja webbpotentialen som en källa till kvalitativa data 122: i stället för att fastna i frågan om hur mycket information som är felaktig, kan man analysera var och varför det finns luckor mellan evidensbaserad medicin och hälsoinformation på Internet, vilket kan framkalla en mängd värdefulla data som kan ligga till grund för prioriteringar för forskning, hälsokommunikation och utbildning.
En systematisk genomgång av studier om tillståndet för hälsoinformation online visade att 55 av 79 studier betraktade informationens kvalitet som problematisk eller tvivelaktig.
Empirical Studies Assessing the Quality of Health Information for Consumers on the World Wide Web -- A Systematic Review
{'venue': 'JAMA', 'journal': 'JAMA', 'mag_field_of_study': ['Medicine']}