Brown wurde 1979 als Volksvertreter des Wahlkreises Edinburgh Leith in das House of Commons gewählt, nachdem sein Amtsvorgänger, der Labour-Abgeordnete Ronald King Murray sich zurückgezogen hatte, um ein Senator of the College of Justice zu werden.