Han skrev en afhandling, Ueber die finnische sprache und ihre literatur, som gav ham opmærksomhed hos den russiske mæcen, rigskansler Rumjantsev, som i 1823 ansatte ham i en stilling som privat bibliotekar. I 1824 foretog Sjögren med støtte fra den finske statskasse en rejse til de nordøstre dele af Europæisk Rusland samt i Lapmarken. Under denne rejse begrænsede han sig ikke til sprogforskningen, men foretog tillige studier inden for historie, statistik, geografi, arkæologi, endog naturhistorie. Det materiale, som han under sin femårige rejse indsamlede, blev senere udgivet i flere af hans arbejder, blandt andre Anteckningar om församlingarne i Kemi-Lappmark (1828), Ueber die älteren wohnsitze der jemen (1831), Ueber den grammatischen bau der syrjänischen sprache (1832), Wann und wie wurden Sawolotschje und die sawolotschen tschuden russisch? (1832) og Ueber die finnische bevölkerung des. S:t Petersburgischen gouvernements und ueber den ursvrung des namens Ingermannland (1833). I 1829 blev han udnævnt til adjunkt i russisk historie og antikviteter ved Videnskabernes akademi i Sankt Petersburg og i 1831 til e. o. akademiker samt forordnedes i 1833 til bibliotekar for den udenlandske afdeling af akademiens bibliotek.  Studier i Kaukasus I 1835-37 foretog han en rejse til Kaukasus på akademiets regning, dels for att studere osseternes den gang så godt som ubekendte sprog, dels for at søge lindring for sit svækkede helbred. Det sidstnævnte formål blev dog under den ret besværlige rejse forsømt. Frugterne af sin kaukasiske rejse fremlagde han i Ossetische sprachlehre, nebst kurzem ossetisch-deutschen und deutsch-ossetischen wörterbuch (1844; samme år udgivet på russisk), for hvilket arbejde han af det Franske institut modtog den Volneyske hæderspris, skønt arbejdet ikke var blevet indgivet som konkurrenceskrift. I 1844 blev han ordinær akademiker for de finske og kaukasiske folkestammers filologi og etnografi samt udnævntes tillige i 1845 til direktør for akademiets etnografiske museum. En forskningsrejse i Sibirien måtte han på grund af sin helsetilstand afslå, men foreslog i sit sted M. A. Castrén, hvilken således gennem ham fik mulighed for at foretage de rejser, som gjorde ham kendt.  Studier af liver og svenskestere Mindre forskningsrejser foretog han i 1846 og 1852, til det uddøende liviske folk i Livland og Kurland samt til øen Runø, hvor der taltes en svensk dialekt. Han udgav derom et par rejseberetninger samt en afhandling, Zur ethnographie Livlands (1849). Det vigtigste resultat af disse rejser, en livisk grammatik og ordbog, udkom ved F. J. Wiedemanns bistand 1861. Foruden de nævnte arbejder udgav han en lang række rejsebreve og andre skrifter, blandt hvilke må nævnes De vita rebusque Olai Sancti, III (1838) og Ossetische studien (1848). Hans samlede værker, redigerede af A. Schiefner, udkom i 2 bind i 1861 under titlen Joh. Andreas Sjögrens gesammelte schriften. Sjögren savnede øre for finere lydnuancer, men har store fortjenester som den første indsamler af sprogmateriale i flere tidligere ubekendte områder. Hans historiske arbejder er tunge at læse, men yderst værdifulde ved det indeholdte materiales rigdom.