Förenklat uttryckt är Försvarsmakten uppdelad i ett antal organisationsenheter. På nivån under myndighetsledningen, som består av ÖB och generaldirektören, finns i princip fyra sorters grupperingar som ansvarar för den praktiska verksamheten – förband, skolor, centrum och enheter.
Förband delas in i utbildningsförband och insatsförband. Utbildningsförbanden, där utbildning av rektryter och soldater sker, är allt från regementen (armén), flottiljer (marinen och flyget) och hybrider som Amfibieregementet (som heter regemente men tillhör marinen), till gemensamma förband som Trängregementet och Ledningsregementet, som hanterar försvarsövergripande uppgifter. Insatsförbanden är det enheter som står till förfogande för insatser både internationellt och inom Sveriges gränser.
Skolor är försvarsmaktsgemensamma utbildningsanstalter där soldater, sjömän och officerare från alla delar av Försvarsmakten förbättrar både sina teoretiska och praktiska färdigheter. Exempel på skolor är Flygskolan, Tolkskolan, Försvarsmaktens tekniska skola och officershögskolorna i Halmstad och Karlberg.
Centrum är också försvarsmaktsgemensamma. Till skillnad från skolor har centrum inte utbildning av personal i fokus, utan samlar den högsta kunskapen och kompetensen inom ett visst specialiserat område. Det kan handla om Försvarsmedicincentrum, Totalförsvarets ammunitions- och minröjningscentrum och Försvarsmaktens meteorologi- och oceanograficentrum.
Enheter är ytterligare en gruppering av olika former av stöd- och specialistfunktioner för hela Försvarsmakten. Exempel på enheter är Försvarsmaktens idrotts- och friskvårdsenhet, Combat Camera och Försvarsmaktens hundtjänstenhet.