酒醒香销愁不胜，如何更向落花行。去年高摘斗轻盈。
夜雨几番销瘦了，繁华如梦总无凭。人间何处问多情。
幼遭家难
来济生于江都（今江苏省扬州市），祖籍南阳新野，东汉名将来歙十九世孙。高祖来成，北魏新野县侯，后降梁，迁居广陵，遂以此为家。父亲来护儿，隋朝名将，曾担任左骁卫大将军、左翊卫大将军、光禄大夫、开府仪同三司等职，封荣国公，恩礼隆密，朝臣无比。
隋大业十四年（618年），右屯卫将军宇文化及发动政变，弑杀隋炀帝。来护儿不屈于叛军，被宇文化及杀害。同时遇害的还有来济的大哥来楷（时为散骑郎、朝散大夫），五哥来弘（时为果毅郎将、金紫光禄大夫），六哥来整（时为武贲郎将、右光禄大夫）。 只有来济和哥哥来恒因为太小没有被杀。来济家族遭难后，流离艰险，而笃志好学，有文词，善谈论，尤晓时务。唐朝时举进士。
累官拜相
贞观十七年（643年），唐太宗任命来济为通事舍人。太子李承乾因谋逆被废，太宗命大臣讨论如何处理废太子，无人应答，只有来济说：“陛下上不失作慈父，下得尽天年，即为善矣。”太宗乃废黜李承乾为庶人，但是保下了他的命，并提拔来济为吏部考功员外郎。
贞观十八年（644年），太宗任命来济为太子李治的司议郎，兼崇贤馆直学士，不久改任中书舍人，与令狐德棻等撰《晋书》。
贞观二十三年（649年），太宗驾崩，太子李治继位，是为高宗。
永徽二年（651年），来济任中书侍郎，兼弘文馆学士，监修国史。
永徽四年（653年），来济拜相，被任命为同中书门下三品。
永徽五年（654年），加银青光禄大夫，以修国史之功封南阳县男，赐物七百段。
永徽六年（655年），来济拜中书令、检校吏部尚书。
反对立后
当时，高宗想以武昭仪取代王皇后，他首先赐武昭仪封号宸妃，来济和韩瑗劝谏：“妃子有正常名额，现在另立名号，这是不行的。”
永徽六年（655年），高宗将要立武氏为皇后，来济和宰相韩瑗劝谏说：“王者定立皇后，是为了承嗣宗庙、做天下人的国母，应该选择礼义名家、优雅贤淑的人，以符合国人的愿望，迎和神灵的旨意。所以周文王立姒氏，《关雎》颂扬，恩泽施於百姓，其福就像那样；汉成帝纵欲，以婢女为皇后，国运中途衰微，其祸患就是这样。希望陛下详察。”
然而，高宗不顾来济、韩瑗、褚遂良、长孙无忌的反对，废黜王皇后，立武宸妃为皇后。来济等都不自安；武后上表称来济忠公，请加赏慰，但心中其实厌恶他们。
显庆元年（656年），武后之子李弘被立为皇太子，来济兼任太子宾客，进爵南阳县侯，仍为中书令。
高宗曾经问统治百姓的好办法，来济说：“过去齐桓公出游，遇见老人，给他食物，老人说：‘请送给天下人食物，给他衣服，老人说：‘请送给天下人衣服。’齐桓公说：‘我府库有限。怎能所有的人都给?’老人说：‘春天不妨碍农事，就有粮食；夏天不妨碍养蚕，就有衣服。，由此来说，减省徭役，是统治百姓的好办法。”这时山东役使民夫，每年另外增加几万人，又商议用佣钱来代替雇工，纷乱烦扰，所以来济是针对这些所说的。
显庆二年（657年），来济又兼太子詹事。同年，许敬宗、李义府诬告来济、韩瑗与褚遂良构成朋党，准备谋反。褚遂良贬桂州（今广西桂林市）都督，来济贬台州（今浙江省台州市）刺史，韩瑗贬振州（今海南三亚市）刺史，终身不许回京。
战死庭州
显庆四年（659年），长孙无忌被逼自杀，柳奭（王皇后的舅舅）、韩瑗处死。
显庆五年（660年），来济改任庭州（在西突厥十姓的边界，今新疆昌吉回族自治州）刺史。
龙朔二年（662年），西突厥部落进攻庭州。来济统兵防御，对部下说：“我曾经触犯刑律，蒙恩赦免死罪，现在应当以身赎罪。”
于是来济不穿甲胄，率军出击，力战阵亡。时年五十三，追赠楚州刺史，供给灵车送回家乡。
木之生，或蘖而殇，或拱而夭；幸而至于任为栋梁，则伐；不幸而为风之所拔，水之所漂，或破折或腐；幸而得不破折不腐，则为人之所材，而有斧斤之患。其最幸者，漂沉汩没于湍沙之间，不知其几百年，而其激射啮食之馀，或仿佛于山者，则为好事者取去，强之以为山，然后可以脱泥沙而远斧斤。而荒江之濆，如此者几何，不为好事者所见，而为樵夫野人所薪者，何可胜数？则其最幸者之中，又有不幸者焉。
予家有三峰。予每思之，则疑其有数存乎其间。且其孽而不殇，拱而不夭，任为栋梁而不伐；风拔水漂而不破折不腐，不破折不腐而不为人之所材，以及于斧斤之，出于湍沙之间，而不为樵夫野人之所薪，而后得至乎此，则其理似不偶然也。
然予之爱之，则非徒爱其似山，而又有所感焉；非徒爱之而又有所敬焉。予见中峰，魁岸踞肆，意气端重，若有以服其旁之二峰。二峰者，庄栗刻削，凛乎不可犯，虽其势服于中峰，而岌然决无阿附意。吁！其可敬也夫！其可以有所感也夫！