Organisationens forgængere blev etableret den 3. februar 1941, da NKVD oprettede lignende afdelinger indenfor hæren og marinen. 2. verdenskrig brød for alvor ud for Sovjetunionens vedkommende, da den tyske Operation Barbarossa løb af stablen den 22. juni samme år. Afdelingerne blev flyttet tilbage under NKVDs kontrol i januar 1942.  Del af det statslige sikkerhedsapparat Efterhånden som krigens gang rykkede frontlinjerne tilbage på de tidligere tysk-besatte områder, opstod der et behov for en anden type opgaver, da antallet af partisan- og sabotageaktioner mod Den Røde Hær blev hyppigere. Af den grund blev SMERSJ oprettet den 15. april 1943 med de ovenfornævnte opgaver. Viktor Semjonovitsj Abakumov var leder for organisationen og rapporterede direkte til Lavrentij Berija og ikke igennem Den Røde Hærs militære kommandovej.  Efter 2. verdenskrig At tjenesten ikke var underlagt hæren understregedes også af, at man fortsatte operationerne efter krigen med øget fokus på kontraspionage. Til trods for flere reorganiseringer og den officielle nedlæggelse i 1946 eksisterede enheder fra det oprindelige SMERSJ op til 1950'erne. Enhederne var endda særligt aktive under Koreakrigen.  I populærfiktion I James Bond-bøgerne optræder SMERSJ for første gang i Casino Royale, hvor organisationen viser sig at være Le Chiffres arbejdsgiver. Den optræder igen i Live and Let Die, From Russia with Love og Goldfinger. I filmene forvandledes SMERSJ fra bøgernes verden stort set til SPECTRE og optræder første gang i From Russia with Love. Derudover nævnes tjenesten i The Living Daylights som genopstået og på jagt efter nye spioner. Dette viser sig dog at være et vildspor.