Sangen blev oprindeligt skrevet af bassist Mike Mills og den blev indspillet af bandet i Athens, Georgia i juli 2011, efter indspilningen af deres sidste tudieablum, Collapse into Now. Bandet indspillede sangen samt en demoerne "A Month of Saturdays" og "Hallelujah" med producer Jacknife Lee med henblik på at lavet et uafhængigt album, efter deres kontraktuelle forpligtelser overfor Warner Bros. Records var blevet opfyldt, men gruppen valgt i stedet at gå i opløsning. Der blev indspillet to musikvideoer til sangen, der begge blev instrueret af Dominic J. DeJoseph og Michael Stipe; den ene fokuserede på Kirsten Dunst og den anden på John Giorno. Stipe kom spontant på ideen til videoen mens han indspillede vokalen til nummeret og han spurgte DeJoseph om at lave musikvideoen i stil med Andy Warhols Screen Tests. Stipe spurgte personligt Dunst, der var hans nabo i New York City, om at være med i videoen, og den blev indspillet i tre takes. Den der blev valgt som den endelige udgave, er en, hvor han sidder uden for kameraets synsvinkel og synger sangen for Dunst.  Anmeldelser Tidlige anmeldelser af sange omtalte den som en "afdæmpet, strenge-fyldt ballade"" (Stereogum) og sammenlignede den med Burt Bacharach popstil, og and R.E.M.'s album Reveal fra 2001. Jon Dolan fra Rolling Stone gav sangen 3.5 ud af fem stjerner, og skrev at "orkester folkrock... klæder bruddet perfekt." Exclaim!s Alex Hudson havde en lignende mening, og beskrev singlen som "et godt farvelkys med tekst der kan forstås lidt som et opfølgende farvel." Claire Suddath fra Time betragtede også singlen som en passende sidste sang, og sammenlignede den med sørgmodigheden i "Man on the Moon" og The Boston Heralds Jed Gottlieb sammenlignede den med R.E.M. ballader "Nightswimming" og "Perfect Circle".