Ussing var søn af kontorchef, senere etatsråd Johannes Hjort Ussing (1787-1866) og Esperance Tolerance Balle (1789-1839). Han gennemgik Metropolitanskolen og blev 1834 student med udmærkelse, 1838 juridisk kandidat. 1841 ansattes han i Danske Kancelli som volontær og blev 1846 kancellist. Kort efter tiltrådte han med understøttelse af Det Reiersenske Fond en udenlandsrejse for at sætte sig ind i fremmede næringsforhold, og 29 år gammel sad han som assessor i Landsoverretten i Viborg. Grebet af tidens politiske interesser lod han sig i 1848 vælge i Viborg Amts 5. kreds til Den grundlovgivende Rigsforsamling, blandt hvis sekretærer han var, og i 1849 og 1852 valgtes han i samme kreds til Folketinget. Imidlertid følte han det som en opgave at gøre sit til at modvirke, hvad han betegnede som fortyskningsprocessen i Slesvig; han tilbød sin tjeneste som dommer dernede, og efter i 1853 at have taget slesvigsk-juridisk eksamen blev han i 1854 udnævnt til medlem af Appellationsretten i Flensborg. Her virkede han, indtil han i marts 1864 blev afsat af de preussiske og østrigske civilkommissærer. Blandt funktioner, han i dette tidsrum udførte ved siden af sit dommerkald, kan nævnes, at han var medlem af den i 1856 nedsatte kommission angående Slesvigs stempellovgivning. Allerede i efteråret 1864 indtrådte Ussing som medlem af den danske Højesteret, og efter grundlovsrevisionen modtog han i efteråret 1866 kongelig udnævnelse som medlem af Landstinget, hvor han bevarede sit sæde indtil sin død, 2. december 1887. Sin stilling i Højesteret opgav han i 1873 for at overtage en af posterne som direktør i Nationalbanken; der vistes ham ved denne lejlighed det særlige hensyn, at han udnævntes til ekstraordinær assessor i Højesteret med ret til atter at tage sæde i retten i sin tidligere plads i denne. 1871 var han blevet formand for de faste censorer ved de juridiske Examiner, og ved Universitetsfesten i 1879 tildeltes der ham den juridiske doktorgrad. Han blev Ridder af Dannebrog 1862, Dannebrogsmand 1877, Kommandør af 2. grad 1881 og af 1. grad 1886. Ussings navn hørte til de bedste i hans tids juridiske embedsstand. Forfattervirksomhed af betydning, udfoldede han ikke – et i 1847 af Landhusholdningsselskabet prisbelønnet skrift om De danske Landboforhold, med fortrinligt Hensyn til den danske Bondes i Lovene grundede Forfatning og et og andet tidsskriftsbidrag er alt, hvad der foreligger fra hans pen –, men han var et klart hoved, på én gang grundig og livlig, og hans kundskaber og interesser spændte over et vidt område af menneskelig virken og åndsliv. Han var tillige i en vis forstand en energisk mand, men det lå ikke i hans natur at udvikle sej, langvarig og rolig modstand over for store hindringer. Som politiker hørte han til de nationalliberales kreds, både efter sine grundanskuelser og efter sine personlige forbindelser. Allerede i sin første rigsdagsperiode øvede han indflydelse, og som kongevalgt landstingsmand tog han, inden den politiske kamp tilspidsedes, virksom del i rigsdagsarbejdet og hørte i told- og skattespørgsmål og andre økonomiske sager til Landstingets ansete kræfter, hvis ord påagtedes, uanset at han var langt fra at være en veltalende mand, og Landstinget gav ham sæde i Rigsretten.  Politikeren Men af den blanding af optimisme og skepsis, som har kendetegnet de nationalliberale, havde Ussing afgjort mere af den sidste egenskab end af den første, og han indtog ofte særstandpunkter og støttede helstaten. Allerede i februar 1853 pådrog han sig i Carl Steen Andersen Billes dagblad Nationaltidende en skarp bebrejdelse for under devisen "Hvad kan det hjælpe?" at have skilt sig fra sine partifæller og stemt med helstatsministeriet for toldgrænsens flytning fra Ejderen til Elben. I 1879 var Ussing imod husmandskreditforeningerne som alt for "socialistiske". Da spørgsmålet om Københavns Befæstning trådte i forgrunden i hans anden rigsdagsperiode, tog Ussing skarpt til orde imod projektet i kraft af en lignende grundbetragtning som den ovenfor antydede og af finansielle hensyn, og han holdt navnlig 2. februar 1882 i Landstinget en tale, der vakte stor opsigt og fremkaldte et hvast sammenstød med Edvard Fallesen. Han gentog sine indvendinger imod befæstningen i 1886 og 1887. Også i stridsspørgsmålene om dyrtidstillægget og om de midlertidige bevillingslove optrådte Ussing som talsmand for en eftergivende politik, og han indtog i sine senere år en meget tilbagetrukken stilling i Landstinget. I sine senere år fjernede han sig mere og mere fra J.B.S. Estrup og fra den Matzen'ske opfattelse af provisoriets berettigelse og nødvendighed, og hans Stilling i Højre var ikke stærk. Men hans personlige prestige og det hensyn, der i og uden for salen vistes denne type på vor første konstitutionelle tids noble og lødige politiske personligheder, var uforandret. Ussing ægtede 7. oktober 1854 Adelaide Constance Rosaura Amalie Schrum (30. maj 1826 – 12. juni 1884), datter af byfoged i Ringkjøbing og herredsfoged i Ulfborg-Hind Herreder Johan Frederik Schrum. Han er begravet på Frederiksberg Ældre Kirkegård. Der findes et portrætmaleri af Henrik Olrik (familieeje). Tegning af Thyra Ussing (ligeså). Xylografi af Georg Pauli 1887.