Gonen blev født i Litauen og immigrerede til Palæstina med sin familie som treårig. Han gjorde tjeneste i Haganah fra 14-års alderen og deltog i slagene om Jerusalem under Israels uafhængighedskrig. Han blev såret fem gange. Efter krigen forblev han i den israelske hær og steg i graderne i panserstyrkerne. Han havde kommandoen over et kampvognskompagni under Suezkrigen i 1956 og blev tildelt tapperhedsmedaljen. Han fik senere til opgave at integrere den nye Centurion kampvogn i styrken og havde senere kommandoen over den første bataljon med disse kampvogne. I 1966 blev han udnævnt til chef for 7. pansrede brigade. Det var på denne post at han under Seksdageskrigen førte sine tropper fra Rafah frontfremspringet lige til Suezkanalen. Efter krigen holdt han en berømt tale med titlen: "Mine glorværdige brødre, som fortjener stort ry", som indeholdt den berømte sætning: "Vi så døden direkte i øjnene, og den slog øjnene ned." I sin tid i hæren var Gonen ikke vellidt blandt sine underordnede, som anså hans metoder for at være urimelige og drakoniske. Han var kendt for at fastsætte særligt lave hastighedsgrænser for mændene i sin brigade, blot for selv at overtræde dem. Det blev også vist i en populær israelsk bog "חשופים בצריח" ("Chasufim Batzariach", "Udsat i tårnet"), at han med overlæg lod sine mænd falde igennem inspektion og derpå straffede dem for det. Han var alt for striks og uddelte ofte hårde straffe til soldater, som blev anklaget for mindre forseelser, såsom at have undladt at pudse støvler. Hans underordnede søgte ofte om at blive flyttet til andre enheder. I marts 1968 havde Gonen kommandoen over den fejlslagne offensiv Slaget ved Karameh i Jordan, hvore Yasser Arafat og PLO havde deres base. Alligevel fortsatte han med at stige i graderne, og den 15. juli 1973 efterfulgte han Ariel Sharon som chef for Sydkommandoen.