It is because the nature of fire, 'burning off others' which threatens the world of deities and living space of human beings, is 'impurity', just like general concept of 'uncleanliness' or 'filth'.
これは火がそもそも持つ性質、すなわち「他を焼き無くしてしまう」という性質が、一般的なケガレの概念、つまり「不浄」「不潔」同様、神や人間の結界、生活圏を脅かす「ケガレ」であるためである。