酒醒香销愁不胜，如何更向落花行。去年高摘斗轻盈。
夜雨几番销瘦了，繁华如梦总无凭。人间何处问多情。
生于唐玄宗开元十七年（729），唐玄宗天宝十四年（755）乙未科状元及第。累官至宰相后贬为福建观察使。其父常无为是三原县丞。常衮登第后由太子正字授补阙起居郎，永泰元年（765）授中书舍人。广德元年（763）以右补阙充翰林学士，不久任考功员外郎。期间宦官鱼朝恩恃宠专权，群臣竞献珠宝邀宠，常衮上书曰：所贡宝物，源出于民，是敛怨以媚上也，请皆还之。代宗赞许，加封常衮为集贤院学士。大历九年（774）升礼部侍郎。连续三年主科考。处事谨慎、墨守成规。大历十二年（777）拜相，杨绾病故后，独揽朝政。以文辞出众而又登科第为用人标准，堵塞买官之路。对朝中众官俸禄亦视其好恶而酌定。封河内郡公。德宗即位后，被贬为河南少尹，又贬为潮州刺史。不久为福建观察使。常衮注重教育，增设乡校，亲自讲授，闽地文风为之一振，在其奖掖下，唐德宗贞元年间潘湖榜眼欧阳詹、徐村状元徐晦等一代又一代士子“腾于江淮，达于京师”。卒于唐德宗贞元元年（785）享年五十五岁，追赠为尚书左仆射。
常衮性清高孤傲，不妄交游。为政苛细崇尚节俭，反对腐败。有文集十卷、诏集六十卷行世。《全唐诗》存其诗九首。
常衮在福建，有个僧人擅长通过察看人的气色，来推测气数、命运，每次推算都象神一样灵验。常衮怜惜僧人年事已高，让他收个弟子继承他的相术。僧人说："这种事全凭天性，不可以轻易地传授给别人。我在你身边的人中，发现有一个可以传授。"常衮召集所有身边的人，这位老僧人选中了一个叫黄彻的小吏，于是常衮让他跟随僧人学习相术。老僧人在一间暗室将五种颜色的丝织品悬挂架上，让黄彻把它们挑选出来。老僧说："一般人都不能充分地发挥自己的眼力。只要你仔细地看他，十天以后可以隐约地辨别出白色；半年以后，就能看清楚五种颜色了。"老僧教导黄彻说："如果能在黑暗中辨别清楚五色彩丝，回去就可以在白天为人相面，预测未来了。"于是，老僧人把相面的秘诀传授给黄彻，并且预言说后人没有谁可以超过他。李吉甫说："黄彻相面，仅次于袁天纲和许藏秘！"
木之生，或蘖而殇，或拱而夭；幸而至于任为栋梁，则伐；不幸而为风之所拔，水之所漂，或破折或腐；幸而得不破折不腐，则为人之所材，而有斧斤之患。其最幸者，漂沉汩没于湍沙之间，不知其几百年，而其激射啮食之馀，或仿佛于山者，则为好事者取去，强之以为山，然后可以脱泥沙而远斧斤。而荒江之濆，如此者几何，不为好事者所见，而为樵夫野人所薪者，何可胜数？则其最幸者之中，又有不幸者焉。
予家有三峰。予每思之，则疑其有数存乎其间。且其孽而不殇，拱而不夭，任为栋梁而不伐；风拔水漂而不破折不腐，不破折不腐而不为人之所材，以及于斧斤之，出于湍沙之间，而不为樵夫野人之所薪，而后得至乎此，则其理似不偶然也。
然予之爱之，则非徒爱其似山，而又有所感焉；非徒爱之而又有所敬焉。予见中峰，魁岸踞肆，意气端重，若有以服其旁之二峰。二峰者，庄栗刻削，凛乎不可犯，虽其势服于中峰，而岌然决无阿附意。吁！其可敬也夫！其可以有所感也夫！