常衮登第後由太子正字授補阙起居郎，永泰元年（765年）授中書舍人。大曆十二年（777年）拜相，楊绾病故後，獨攬朝政。以文辭出衆而又登科第為用人标準，堵塞買官之路。對朝中衆官俸祿亦視其好惡而酌定。封河内郡公。德宗即位後，被貶為河南少尹，又貶為潮州刺史。不久為福建觀察使。常衮注重教育，增設鄉校，親自講授，閩地文風為之一振。建中四年（785年）死于任上。享年五十五歲，追贈為尚書左仆射。
