Les deux principaux historiens qui rapportent leur histoire, Tite-Live et Plutarque, relatent deux versions différentes de l’enfance des deux frères.
Alors qu’ils ne sont encore que des nouveau-nés, leur grand-oncle Amulius, roi de la cité d’Albe-la-Longue, craint qu’ils ne revendiquent un jour son trône : il ordonne ainsi de les faire jeter dans le Tibre, le fleuve de la région. 
Selon Tite-Live, Romulus et Rémus seraient les enfants de la vestale Rhéa Silvia, une prêtresse, et du dieu de la guerre, Mars. 