Faits: A. Le 3 juillet 2012, les autorités fiscales américaines (Internal Revenue Service; ci-après: l'IRS) ont adressé une demande d'assistance administrative internationale en matière fiscale à l'Administration fédérale des contributions (ci-après: l'AFC). La requête concernait des personnes assujetties aux impôts américains (ci-après: clients US) qui détenaient des comptes auprès de Credit Suisse Group SA ou de ses succursales et filiales en Suisse (ci-après: le Credit Suisse). L'IRS demandait que lui soient transmises des informations à propos des clients US qui, à un moment donné entre 2002 et 2010, avaient un pouvoir de signature ou un autre pouvoir de disposition sur des comptes bancaires ouverts auprès du Credit Suisse ou en étaient les ayants droit économiques, et qui correspondaient en tous points à l'état de fait détaillé présenté dans la requête. B. Le 20 juillet 2012, l'AFC a demandé au Credit Suisse de lui transmettre les documents réclamés par l'IRS. Le Credit Suisse s'est conformé à cette requête en temps utile. Simultanément, l'AFC a également invité le Credit Suisse à identifier les personnes concernées, à les informer de la procédure d'assistance administrative et à les engager à désigner un représentant en Suisse. Par décision du 18 octobre 2012, l'AFC a conclu que A._ était l'ayant droit économique de la société B._ Ltd. et qu'il remplissait les conditions de la requête du 3 juillet 2012, de sorte que l'assistance administrative en matière fiscale devait être accordée à l'IRS en ce qui le concernait. A._ et B._ Ltd. ont recouru contre cette décision auprès du Tribunal administratif fédéral. Par arrêt du 21 mai 2013, celui-ci a rejeté ces recours. C. A._ (ci-après: le recourant 1) et B._ Ltd. (ci-après: la recourante 2) déposent un recours en matière de droit public au Tribunal fédéral. Ils sollicitent l'effet suspensif et prennent les conclusions au fond suivantes, sous suite de frais et dépens: - Déclarer le recours bien fondé. - Annuler l'arrêt du 21 mai 2013 du Tribunal administratif fédéral. - Refuser à l'IRS l'assistance administrative concernant le recourant 1. - Refuser à l'IRS l'assistance administrative concernant la recourante 2. - Refuser de transmettre à l'IRS tous les documents édités par le Credit Suisse dans le cadre de la demande d'assistance administrative. - Subsidiairement, annuler l'arrêt du 21 mai 2013 du Tribunal administratif fédéral et renvoyer la cause au Tribunal administratif fédéral pour nouvel arrêt, ou plus subsidiairement encore, à l'AFC pour nouvelle décision. L'AFC conclut à l'irrecevabilité, subsidiairement au rejet du recours. Le Tribunal administratif fédéral renonce à se déterminer. Le 14 juin 2013, le président de la IIe Cour de droit public a invité l'AFC à renoncer à toute mesure d'exécution de la décision attaquée jusqu'à décision sur l'effet suspensif. 