酒醒香销愁不胜，如何更向落花行。去年高摘斗轻盈。
夜雨几番销瘦了，繁华如梦总无凭。人间何处问多情。
胡俨从小十分好学，对天文、地理、律历、医学、占卜方面的书籍，无不博览。洪武年间，胡俨以举人身份被授予华亭县教谕，能以师道自任。母亲去世，他守孝期满后，改到长垣任教谕，请求给予便地养家，后又改到余干县任职。批准学官请求便地即是从胡俨开始。
建文元年（1399年），胡俨被推荐任为桐城县知县。他主持开凿桐陂水，灌溉田地，使百姓获利。县境有虎伤人，胡俨斋戒沐浴后向神灵祷告，老虎便逃走了。桐城县人把他供祀在朱邑祠。
建文四年（1402年），副都御史练子宁把胡俨推荐给朝廷，说：“胡俨具有的知识足以通达天人，他的才智足以参佐帷幄。”等胡俨被召来时，燕王的部队已渡过了长江。
朱棣即位后，说：“胡俨懂得天文，就让钦天监考考他。”考完之后，钦天监官员上奏说胡俨确实通象纬、气候之学。不久又因解缙的推荐，授予胡俨翰林检讨之职，与解缙等人一同在文渊阁当值。升为侍讲，再升为左庶子。胡俨因父亲去世守丧，守孝期满后胡俨又出来任职。胡俨在内阁时，受皇上顾问，他从不与人争先，但稍嫌戆直。
永乐二年（1404年）九月，胡俨被任为国子监祭酒，便不再参预机务。当时国子监用法严峻，国子生请事假回家的，也被判戍边。胡俨到任后，立即上奏废除了这条规定。
永乐七年（1409年），朱棣幸临北京，召胡俨赴行。
永乐八年（1410年），朱棣率军北征，命胡俨以祭酒兼侍讲，掌管翰林院事务。辅佐皇太孙留守北京。
永乐十九年（1421年），胡俨改任北京国子监祭酒。当时，海内统一已近五十年，朱棣正内兴礼乐，外怀要荒之地，公卿大夫彬彬然多是文学之士。胡俨作为馆阁宿儒，朝廷大著多出自他之手，重修《太祖实录》、《永乐大典》、《天下图志》，他都担任总裁官。他主持国学二十余年，以身率教，一行一动都有师法。
洪熙元年（1425年），胡俨以病请求退休，明仁宗朱高炽赐给敕书，奖励慰劳他，进升他为太子宾客，仍兼祭酒。退休后，朝廷免除他子孙的赋税徭役。明宣宗朱瞻基即位后，以礼部侍郎之衔召胡俨，胡俨推辞归家。
胡俨在家二十年，方岳重臣都以师礼对待他。胡俨与他们交谈，从不曾说到他个人的事。他自处淡泊，岁时的衣食才刚够需要。当初他任湖广考官时，看到杨溥的文章，非常惊异，在其上题写道：“此文作者必能为董子之正言，而不为公孙之阿曲。”世人都认为他知人。
正统八年（1443年）八月，胡俨去世，终年八十三岁。
木之生，或蘖而殇，或拱而夭；幸而至于任为栋梁，则伐；不幸而为风之所拔，水之所漂，或破折或腐；幸而得不破折不腐，则为人之所材，而有斧斤之患。其最幸者，漂沉汩没于湍沙之间，不知其几百年，而其激射啮食之馀，或仿佛于山者，则为好事者取去，强之以为山，然后可以脱泥沙而远斧斤。而荒江之濆，如此者几何，不为好事者所见，而为樵夫野人所薪者，何可胜数？则其最幸者之中，又有不幸者焉。
予家有三峰。予每思之，则疑其有数存乎其间。且其孽而不殇，拱而不夭，任为栋梁而不伐；风拔水漂而不破折不腐，不破折不腐而不为人之所材，以及于斧斤之，出于湍沙之间，而不为樵夫野人之所薪，而后得至乎此，则其理似不偶然也。
然予之爱之，则非徒爱其似山，而又有所感焉；非徒爱之而又有所敬焉。予见中峰，魁岸踞肆，意气端重，若有以服其旁之二峰。二峰者，庄栗刻削，凛乎不可犯，虽其势服于中峰，而岌然决无阿附意。吁！其可敬也夫！其可以有所感也夫！