"I Believe in You" er en upbeat kærlighedssang spillet hovedsageligt på synthesizere. Sangens tekst beskriver, hvordan hun ikke tror på andet end hendes kæreste. Skrevet og indspillet i sommeren 2004 i London, tager sangen sin inspiration fra disco, new wave og elektronisk musik fra 1980'erne. Sangen åbner med en melodi som spilles på keyboards. Denne melodi er fastholdt i hele sangen, undtagen for i lejlighedsvise pauser i løbet af versene. Da sangen fortsætter er der trommer og synth-strygere i baggrunden under hele sangen. Koret indeholder Minogue synger i høj oktav med strygere og rytme i baggrunden.  Hitlisteplaceringer "I Believe in You" blev udgivet den 6. december 2004 i Storbritannien og nåede nummer to på UK Singles Chart. Den forblev sig på Top 10 i fire uger, men opholdt seks uger som førstepladsen på airplay-hitslistene. I Australien nåede sangen nummer seks på ARIA Charts og blev certificeret guld i 2005. I de fleste europæiske lande var sangen et Top 10-hit. I USA nåede singlen ikke Billboard Hot 100, men nåede nummer tre på Billboard Hot Dance Club Charts og nummer fire på Billboard Hot Dance Airplay Charts. I New Zealand gik singlen ind som nummer 38, efterto uger nåede den nummer 29, men faldt ud af listen efter fem uger.  B-side "B.P.M." blev udgivet som en B-side på udgivelsen af "I Believe in You". Sangen blev produceret af Richard Stannard og Julian Gallagher, og blev skrevet af Minogue, Stannard og Gallagher. Sangen blev oprindeligt indspillet under sessioner af Body Language i 2003 og blev ikke udgivet intil Ultimate Kylie et år senere. "B.P.M." var en af de mange sange betragtes at blive føjet til albummet som et nyt spor, men blev udgivet som en B-side til "I Believe in You" i stedet.