Han er søn af advokat Knut Sigurd Kleppe (1897–1980) og Nathalie Mathilde Andersen (1896–1973). Hans far var søn af en skibsreder fra gården Kleppe på Sotra. I 1922 gik rederiet konkurs, og Knut Kleppe flyttede til Oslo og blev jurist. Her blev sønnerne Per og Fartein født. I 1929 flyttede familien til Bergen, hvor Knut Kleppe påbegyndte sin nye sagførerstilling. Omstillingen blev barsk for Per Kleppe, der talte Oslo-dialekt. Han kom hver dag forslået og blodig hjem fra skole. Selv om han som voksen flyttede tilbage til Oslo, talte han livet ud bergensdialekten, som "blev banket ind i mig". Fagligt var han en ener. 9. april 1940 kom krigen. Kleppes forældre var medlemmer af NS; mens Kleppe, inspireret af sin skolelærer Trygve Bull, havde meldt sig ind i AUF i 1937. For at undslippe sine forældres NS-engagement under den tyske besættelse, flyttede den 17-årige Kleppe ud til sin farmor på Sotra. Lillebror Fartein på 15 blev hos forældrene og tog deres parti. I foråret 1943 meldte Fartein sig til tysk krigstjeneste, og faldt som SS-jäger i Skijægerbataljon Norge under kampene ved Kaprolat  i Karelen 26. juni 1944. To måneder gik, inden familien fik kendskab til hans død, i Bergens Tidende 26. august 1944.   Dødsbudskabet stod på avisens forside. Kleppe husker stilheden i stuen hos farmoren, da hun tavs rakte ham avisen. Ved siden af et billede af lillebroren stod, at han var faldet i Rusland kun 18 år gammel. Kleppe holdt sin far ansvarlig; de to fik aldrig noget godt forhold. Ved krigens slutning døde farmoren af chok efter et natligt flyangreb. Det var Kleppe, der fandt hende død. Efter befrielsen blev hans far sat i fængsel, og moren måtte flytte ud af boligen ind i et værelse på 5-6 m² og arbejde for at klare sig. Hun blev stærkt angrebet af ledgigt og døde af nyresvigt efter flere års forbrug af stærke smertestillende midler.  I 2006 fik Kleppe besked om, at hans bror sandsynligvis var fundet ved en bunker på Kaprolathøjen; hans dødsbrikke var fundet. Kleppe afgav DNA  og fik sin bror hentet hjem. I januar 2010 blev Fartein Kleppe gravsat ved Ris kirke i Oslo.  Kleppe kom aldrig over tabet af sin bror. I foråret 1944 havde han fået brev fra Fartein, om at han håbede, krigen snart var omme, så familien kunne samles igen uden at splittes af politisk uenighed. Kleppe nåede aldrig at svare; brevet blev det sidste livstegn fra hans bror.  Kleppe mødte i 1949 Margaretha Malmros (1917–1997) i Stockholm. Hun var skilt med to små drenge, men studerede statistik og var ansat ved Gallupinstituttet. Året efter mødtes de igen, blev forelsket, og giftede sig i 1951. Sammen fik de døtrene Astri og Ingrid. Margaretha ville begraves på familiegravstedet i Stockholm, og Kleppe rejste med urnen i skødet på toget fra Oslo til Stockholm for at begrave hende: "Det ville være underligt at sende hende hjem alene." Som enkemand i 2018 har Per Kleppe de to døtre, to børnebørn og to oldebørn.  Modkonjunkturpolitik og "Kleppe-pakker" I sin tid som finansminister lagde Kleppe kursen for den norske olieøkonomi. I kølvandet af oliekrisen i 1973 indså han nødvendigheden af et stærkt statligt engagement som modvirkning mod den voksende arbejdsløshed. Han sørgede for støtte og garantiordninger overfor skibsrederier og værftsindustrien. For at modvirke inflation prøvede Kleppe at overtale fagbevægelsen til at dæmpe lønskravene. Til gengæld indførtes lavere skat. Disse aftaler, kaldt "Kleppe-pakker", var omstridte, men virkningsfulde.  I 1977 blev det afsløret, at statsråder siden omorganiseringen af SAS i 1951, havde haft "blåkort" i den såkaldte "Blåkortsag", hvor kortets indehaver privat kunne flyve gratis hele verden over. Kleppe, som da var statsråd, udtalte, at "Flyene går jo uanset",  hvad der satte ham i et dårligt lys og svækkede tilliden.  Udmærkelser Kleppe blev i 1989 udnævnt til kommandør med stjerne af St. Olavs orden. Han er også tildelt en række andre landes ordener. Han er indehaver af storkors af den portugisiske Kristusordenen (1978), storkors af Finlands løves orden (1988), storkors af Den Islandske Falkeorden (1988) og storkors af den svenske Nordstjerneordenen (1988). I 1987 blev han tildelt Det jugoslaviske flags orden med guldstjerne i halsbånd (3. klasse). Så populær blev Kleppe, at han fik rollen som sig selv i en af de norske Olsenbanden-film i 1978.