I 1963 gik Adenauer alligevel af efter 14 år ved magten på grund av den såkaldte Spiegelaffære, hvor det kom frem at kansleren havde beordret fem journalister arresteret efter at de havde offentliggjort et notat om den angivelig dårlige forfatning som den tyske hær var i, stillet overfor den østeuropæiske kommunistiske hær.