Karagounis debuterede for Grækenlands landshold i 1999 i en venskabskamp mod El Salvador, og etablerede sig siden hurtigt som en bærende kraft på landsholdet. Han var en del af den trup der sensationelt vandt EM-guld i Portugal i 2004. Her scorede han i åbningskampen mod værtslandet Portugal turneringens første mål, der grundlagde grækernes overraskende sejr, og deres triumf i hele turneringen. Siden da har han også deltaget ved EM i 2008 i Schweiz og Østrig, VM i 2010 i Sydafrika samt i EM i 2012 i Polen og Ukraine. Ved sidstnævnte brændte han et straffespark i kampen mod Polen men scorede til gengæld kampens eneste mål, da Grækenland med en sejr over Rusland i den sidste gruppekamp overraskende kvalificerede sig til kvartfinalen. Han nåede at spille 139 landskampe og score 10 mål.