Rykov meldte sig ind i det russiske socialdemokrati i 1898, der senere blev splittet op i to fraktioner, bolsjevikker og mensjevikker, ved en kongres i London i 1903, hvor Rykov tog Lenins parti blandt bolsjevikkerne. Rykov er ofte blevet betegnet som en moderat politiker og lagde ved flere lejligheder afstand til Lenins politiske linje. Dog spillede Rykov en fremtrædende rolle i den nye sovjetiske regering som folkekommissær for indre anliggender. Under den russiske borgerkrig stod Rykov blandt andet for at forsyne den røde hær og flåde med mad. Efter Lenins død i januar 1924 blev Rykov ny formand for sovjetregeringen indtil den 19. december 1930. Den 30. december 1930 blev han ekskluderet fra politbureauet. Fra 1931-37 blev han folkekommissær for post og telegrafi. Den 17. februar 1937 blev Rykov ekskluderet fra kommunistpartiet, arresteret for højforræderi og fængslet i Lubjanka. Ved en retssag den 13. marts 1938 blev han sammen med 20 andre, bl.a. Bukharin og Krestinskij fundet skyldig i forræderi og dømt til døden. De 21 blev alle henrettet den 15. marts 1938.