Gibbs har været gift 4 gange med: Shannon Gibbs (afdød), Diane (skilt), Ukendt (skilt), Stephanie Flynn (skilt). Han har kun et barn: Kelly Gibbs, som er død i 1991. Kelly og Shannons død har taget hårdt på ham. De blev begge dræbt af en mexicansk narkohandler, som Gibbs senere dræber. Gibbs har haft et kærlighedsforhold til tidligere direktør for NCIS's hovedkontor i Washington. Jenny Shepard. Man ved ikke hvornår de havde forholdet, om det var imens han var gift eller hvornår. Jenny Shepard ligner Gibbs' første kone Shannon meget, så det kan måske være efter at hun døde at hun blev en "erstatning" for Shannon. Lige efter Gibbs' hukommelsestab i slutningen af NCIS sæson 3, forveksler Gibbs Jenny med sin tidligere kone. Gibbs mister 15 års hukommelse, men kollegaen Ziva David får den tilbage, ved at tage hans hånd og slå sig i nakken, som han ellers plejer at gøre det med Anthony DiNozzo og Ziva selv. Gibbs og DiNozzo har nærmest et far-søn forhold og han siger selv, at DiNozzo er den søn han aldrig fik. Tilsvarende har han far-datter forhold til begge kollegerne Ziva og Abby Gibbs' hobby er sløjd. Han laver både, og når én er færdig, begynder han forfra med en ny.