Rukavina startede sin karriere i hjemlandet, men skiftede i 2008 til Borussia Dortmund i den tyske Bundesliga. Han formåede dog ikke at slå igennem i klubben, og efter et lejeophold blev han året efter sendt permanent solgt til 1860 München i en handel, der sendte Sven Bender den modsatte vej. Efter tre år hos 1860 München skiftede Rukavina i 2012 til Real Valladolid i Spanien. To år senere skrev han under på en kontrakt med Villarreal.  Landshold Rukavina har (pr. juni 2018) spillet 43 kampe for Serbiens landshold. Han debuterede for holdet 2. juni 2007 i en EM-kvalifikationskamp mod Finland. Han var en del af den serbiske trup til både VM 2010 i Sydafrika og til VM 2018 i Rusland.