Efter at være blevet uddannet på Ampleforth College (hvor han var medlem af officers træningskorpset og Oxford University, hvor han gik ind i universitetets kavalerieskadron, blev Fraser udnævnt til sekondløjtnant i Lovat Scouts (en reserveenhed) i 1930.