Thorkelin blev født på Bær ved Hrutafjord i det nordlige Island, og var søn af sysselmandsdatteren Elin Magnusdatter og en mand ved navn Jón Teitsson, der nogle år senere døde som gardist i København. Sit tilnavn dannede Thorkelin efter navnet på sin oldefader, sysselmanden Åre Thorkelsson. Han blev opdraget hos nogle barnløse slægtninge, som lod ham undervise, så at han 1765 kunne optages i Latinskolen på Skalholt, hvor han, efter eget sigende, led meget ondt som følge af skolens slette økonomi. Som særlig begavet discipel nedsendtes han 1770 til København, for at han i den herværende latinskole kunne få sin videre uddannelse. Efter 1773 at være dimitteret til Københavns Universitet studerede han jura og blev 1776 juridisk kandidat, men havde ved siden heraf syslet med de nordiske oldskrifter, hvortil han fra mange sider opmuntredes og støttedes. Allerede 1775 havde han udgivet den ældre islandske kirkeret, som 1777 efterfulgtes af den yngre eller biskop Arnes Kirkeret, begge (ligesom Thorkelins øvrige udgaver) med latinsk oversættelse, og 1786 udkom i 2 bind et Diplomatarium Arnamagnæanum, omfattende oldbreve fra den Arnamagnæanske Samling, henholdsvis for Danmark og Norge, værker, som for sin tid må kaldes fortjenstfulde, og hvoraf navnlig det sidste, trods forskellige mangler, længe bevarede sin betydning. Ved disse og flere mindre arbejder havde han henledet opmærksomheden på sig således, at han 1777 var bleven antaget som den Arnamagnæanske Kommissions sekretær, 1780 ansattes som medhjælper i Gehejmearkivet, fra 1784 med løfte om gehejmearkivarpladsen, når denne blev ledig, og 1783 udnævntes til extraordinær professor.  Udlandsrejse 1785 tilstod regeringen Thorkelin understøttelse til en 2-årig rejse i Storbritannien og Irland for at opspore minderne om Danmarks og Norges tidligere berøringer med disse lande; denne understøttelse blev senere forlænget, så at Thorkelin, som afrejste 1786, i alt opholdt sig 5 år udenlands. Thorkelin, som fra sin tidligste ungdom havde en bemærkelsesværdig evne til at vinde velyndere, fik i England udmærkede forbindelser, så at han ikke blot havde let adgang til de offentlige samlinger, men i det fordelagtigste selskab kunne berejse England og Skotland, ligesom han også besøgte Dublin. Han blev hurtig fortrolig med sproget og omtales som lærd og livlig. Foruden at afskrive aktstykker og gøre uddrag af historiske kildeskrifter havde han også sin opmærksomhed henvendt på den antikvariske topografi og næringsvejene, og i dagspressen offentliggjorde han forskelligt til oplysning om danske nutidsforhold. En række sådanne artikler, om den danske kronprins' karakter og landets åndelige udvikling, som han senere (1791) udgav i bogform, og som oversattes på tysk og dansk, vakte ved sin ukritiske lovprisning allerede hos samtiden anstød. Thorkelin fik 1790 tilbud om en bibliotekarplads ved British Museum, men afslog denne og kaldtes kort efter hjem for 1791 at udnævnes til gehejmearkivar. Thorkelins kostbare og langvarige rejse satte ikke de frugter, man kunne vente. Årene gik, uden at han bearbejdede sine samlinger. Hans tid optoges af Gehejmearkivet, hvor han udfoldede en omfattende virksomhed, om end hans styrelse efter sagkyndig udtalelse ikke vidner om nogen overlegen indsigt, og han anlagde sig et værdifuldt bibliotek og andre samlinger, hvilket så godt som alt sammen med egne optegnelser brændte under Københavns bombardement i 1807. Thorkelin har dog fortjenesten af at have fremdraget det mærkelige oldengelske heltedigt Beowulf med emner fra olddansk sagnhistorie, som han afskrev efter det eneste bevarede, hensmulrende håndskrift i British Museum og på Johan Bülows bekostning udgav 1815, ledsaget af en latinsk oversættelse. Udgaven, som fremkom under titlen De Danorum rebus gestis . . . poéma etc., foranledigede en polemik med N.F.S. Grundtvig (i Kjøbenhavns Skilderi), som stærkt fremhævede forskellige misforståelser af det vanskelige stof.  Videnskabelige selskaber og titler Thorkelin, som under sit ophold i Skotland blandt andre æresbevisninger havde fået graden som dr. juris ved University of St Andrews, og som 1791 valgtes til medlem af det danske Videnskabernes Selskab, udnævntes efterhånden til justitsråd (1794), etatsråd (1810), Ridder af Dannebrog (28. januar 1811) og konferensråd (1828). Han var medlem af en til omordning af det islandske skole- og retsvæsen 1799 nedsat kommission, og fra den tid stammede et uvenskab med hans landsmand Magnús Stephensen, hvorom en polemik i Kjøbenhavns Skilderie 1808 bærer vidne. 28. marts 1800 blev han medlem af Det kongelige danske Selskab for Fædrelandets Historie. Som Arnamagnæansk sekretær, hvilken stilling Thorkelin indehavede til sin død, besørgede han i det væsentlige den 1817 under titlen Gulathingslaug med latinsk og dansk oversættelse udgivne norske landslov, hans yngre år (1787) tilhører den af Peter Frederik Suhm bekostede Eyrbyggja saga med latinsk oversættelse. Thorkelin havde 1792 ægtet en velstående bryggerenke, Gunnild Cecilie Hvidsteen, født Dybe, men mærkelig nok omtaler Magnús Stephensen i sin selvbiografi ham allerede 1783 som "Ølbrygger". Han døde i 1829 og skal de sidste år ved et fald have mistet sin førlighed. Hans fra England medbragte historiske samlinger er indlemmede i Det Kongelige Bibliotek, hans brevveksling og privatoptegnelser derimod i Rigsarkivet. Han er begravet på Assistens Kirkegård.