Rykov meldte sig ind i det russiske socialdemokrati i 1898, der senere blev splittet op i to fraktioner, bolsjevikker og mensjevikker, ved en kongres i London i 1903, hvor Rykov tog Lenins parti blandt bolsjevikkerne.