Wadsworth blev født i landsbyen Geneseo i staten New York. Hans forældre var velhavende. Hans far ejede en af de største samlinger af opdyrket jord i staten, og den unge Wadsworth blev optrænet til at udfylden opgave han ville arve. Han gik på både Harvard University og Yale University, studerede jura og blev anerkendt som advokat, men havde ingen planer om at praktisere. Han brugte det meste af sit liv på at styre sin families ejedomme. Ud af en følelse af at "adel forpligter" blev han filantrop og gik ind i politik. Først som Demokrat, og derefter som en af stifterne af Free Soil partiet som tilsluttede sig Republikanerne i 1856. I 1861 var han medlem af fredskonferencen i Washington D.C., en uofficiel samling af moderate fra Nord og Syd, som forsøgte at undgå krig. Efter at krigen var blevet uundgåelig, så han det som sin pligt at melde sig som frivillig.  Borgerkrigen Selv om han ikke havde nogen form for militær erfaring blev Wadsworth udpeget til generalmajor i staten New Yorks milits ved krigens begyndelse. Han gjorde tjeneste som en civil frivillig hjælper for generalmajor Irvin McDowell i det Første slag ved Bull Run i juli 1861. McDowell anbefalede, at han skulle have kommandoen over en styrke, og den 9. august 1861 blev James Wadsworth udnævnt til brigadegeneral. I oktober fik han kommando over en brigade i McDowell's division i Army of the Potomac. Fra marts til september 1862 havde Wadsworth kommandoen over Washington militærdistriktet. Under forberedelsen af generalmajor George B. McClellan's Peninsula kampagne, beklagede Wadsworth sige til præsident Abraham Lincoln over at han havde for få tropper til at forsvare hovedstaden, på grund a McClellan's planer om at tage en stor del af dem med sig til Virginia halvøen. Lincoln omgjorde McClellan's plan, og afsatte et helt korps til forsvaret af Washington. Dette førte til dårligt blod mellem McClellan og Wadsworth. Da han ikke så nogen fremtid i at gøre tjeneste i McClellan's hær lod Wadsworth sig opstille til valget som guvernør i New York som modkandidat til Demokraten Horatio Seymour, som var modstander af krigen. Wadsworth ville dog ikke tage orlov for at føre valgkamp, og han tabte valget. Efter at McClellan havde forladt Army of the Potomac, efter det alvorlige nederlag for Unionen i Slaget ved Fredericksburg, blev Wadsworth udpeget til kommandør for 1st Division i I Korps, hvor han erstattede Generalmajor George G. Meade, som var blevet forfremmet til at lede V korps. Han var en flot divisionskommandør, slank og energisk i en alder af 56 år, snehvidt hår med store hvide uldtottede bakkenbarder svingende en officerssabel fra den amerikanske uafhængighedskrig. Han blev beundret af mange i sin ny division fordi han brugte meget energi på at sikre, at hans mænd fik tilstrækkelige rationer og blev ordentligt indkvarteret. De var også imponerede af, at han brændte så meget for Unionens sag, at han havde opgivet et komfortabelt levned for at gøre tjeneste i hæren uden betaling. Wadsworth's division's første prøve i kamp under hans kommando var i Slaget ved Chancellorsville i maj 1863. Hans havde en usikker start da han manøvrerede sine tropper over Rappahannock floden nedenfor Fredericksburg og det endte med at de kun tog mindre del i slaget. Hans indsats i Slaget ved Gettysburg var langt mere betydningsfuld. Hans division ankom i fortroppen af John F. Reynolds's I Korps den 1. juli 1863, og var en stor del af byrden af Sydstatshærens voldsomme angreb den morgen og eftermiddag. De holdt ud mod angreb både fra vest og nord, hvilket gav Army of the Potomac tid til at bringe tilstrækkelige styrker frem til at kunne holde det højereliggende terræn syd for byen og til sidst vinde slaget. Da divisionen hastigt trak sig tilbage gennem byen til Cemetery Hill sidst på eftermiddagen, havde den lidt tab på over 50%. Trods disse tab sendte Wadsworth to regimenter af sted for at forstærke forsvaret af Culp's Hill på slaget 2. dag. I korps havde lidt så kraftige tab ved Gettysburg, at da Army of the Potomac blev reorganiseret i marts 1864 blev de overlevende regimenter spredt mellem andre korps. Efter 8 måneders fravær blev Wadsworth udnævnt til kommandør for 4th Division i V Corps. Det taler godt om hans indsats ved Gettysburg, for nogle af hans samtidige blev efterladt uden kommando, da hæren blev reorganiseret. Ved begyndelsen af generalløjtnant Ulysses S. Grant's Overland-kampagne, førte Wadsworth sin division ved Slaget ved the Wilderness. Han blev dødeligt såret i hovedet den 6. maj 1864, og fanget af styrker fra Sydstaterne. Wadsworth døde to dage senere på et felthospital. Han ligger begravet på Temple Hill Cemetery i Geneseo, New York. Dagen før han blev såret, blev han forfremmet til generalmajor i den frivillige hær, men denne udnævnelse blev tilbagekaldt, og han blev i stedet posthumt udnævnt til midlertidig generalmajor med virkning fra 6. maj 1864, for sin tjeneste ved Gettysburg og Wilderness.