Ivanov stammede fra en officersfamilie. Han tog eksamen fra Mikhailovskaja Artilleriakademi i 1869, og gjorde tjeneste i 3. grenader garderegiment og artilleribrigader. Hans første kampindsats var i den russisk-tyrkiske krig (1877-1878), og han blev efterfølgende i Rumænien som instruktør i den rumænske hær. Den 28. juli 1884 blev han kommandør over 2. batteri i det kejserlige gardeartilleri og den 11. april 1890 blev han udnævnt til kommandant over fæstningsartilleriet i Kronstadt. Den 14. december 1899 blev han udvalgt til aide-de-camp for Mikhail Aleksandrovitj af Rusland. Under den russisk-japanske krig gjorde han tjeneste i den russiske hær i Manchuriet, og fra 18. juli 1904 havde han kommandoen over 3. sibiriske korps. Han blev tildelt Sankt Georgsordenen (4. klasse og 3. klasse med gyldne våben og diamanter). Efter krigen var han kort chef for forsyningstropperne i den russiske hær i Manchuriet, hvor han styrede tilbagetrækningen til Rusland. Fra 19. december 1905 til 6. november 1907 havde han kommandoen over armékorpset i Skt. Petersborgs militærdistrikt, og overtog desuden posten som midlertidig generalguvernør i Kronstadt fra 6. november 1907. Fæstningsbyen var et centrum for revolutionær aktivitet efter Den Russiske Revolution 1905, og Ivanov greb hårdt ind for at stoppe uroen i sine militære enheder. Han blev forfremmet til Generaladjudant i 1907, General i artilleriet den 13. april 1908 og kommandant over militærdistriktet i Kijev fra 2. december 1908, en post han beklædte indtil starten på 1. verdenskrig i 1914. Ved starten af 1. verdenskrig fik Ivanov kommandoen over den kejserlige russiske hærs styrker på Sydvestfronten med ansvar for en stor del af indsatsen i Galicien. Det lykkedes Ivanov at besejre østrig-ungarerne i slaget om Galicien i august 1914, og en måned senere trængte han østrig-ungarerne 150 km tilbagve til Karpaterne, omringe Przemyśl og tilføje fjenden et tab på 300.000 mand. For denne indsats blev han tildelt St. Georgsordenen af 2. klasse og Sankt Vladimirordenen (1. klasse med sværd). I 1916 valgte den russiske overkommando at lade Ivanov afløse af Aleksej Brusilov, der hævdes at have været den bedste russiske hærfører i krigen og stod bag Brusilovoffensiven. Ivanov blev forfremmet til det russiske statsråd og på grund af hans store politiske indflydelse og ry blev han militær rådgiver for zar Nikolaj 2. af Rusland i Stavka, men hans planer og forslag blev overskygget af Mikhail Aleksejev. Da de russiske styrker brød sammen i 1916 og der udbrød revolution var Ivanovs tid som militær kommandant i et forenet Rusland slut. Den 27. februar 1917 fik han kommandoen over militærdistriktet i Petrograd udstyret med krigsretsbeføjelser fra zaren for at nedkæmpe den revolutionære aktivitet, men da han ankom til Petrograd den 2. marts konstaterede han, at byen og dens militære enheder allerede var under kontrol af den provisoriske regering. Da han ikke kunne udføre sine ordrer vendte han tilbage til Moskva og tog derfra videre til Kijev, hvor han blev arresteret af den lokale Sovjet, og sendt tilbage til Petrograd som fange. Han blev løsladt mod kaution af Aleksandr Kerenskij og flygtede hurtigt til byen Novotjerkassk, hvor han sluttede sig til Den Hvide Hær. Som ivrig monarkist dannede Ivanov en anti-bolsjevikisk kosakhær, men blev besejret i den russiske borgerkrig nær landsbyen Vjosjenskaja, hvorefter resterne af hans hær sluttede sig til Donkosakkerne. Ivanov døde af tyfus i januar 1919.