酒醒香销愁不胜，如何更向落花行。去年高摘斗轻盈。
夜雨几番销瘦了，繁华如梦总无凭。人间何处问多情。
胡直孺的胞兄胡僧孺任河北西路提督，属江西名士。胡直孺于宋哲宗绍圣四年（1097年）中进士，曾任《九域志》编修官时，为营解元祐党人，四处奔跑呼号。后来迁任监察御史、平江府知府，擢江湖淮浙发运使，入为户部侍郎。当时正值金兵大举南侵，他出谋献策，初战告捷。迁工部尚书、龙图阁学士、知南京兼东京道总管。金兵再犯京师，他又被召勤王，勇敢作战，斩敌千余名。第二年，金人燃起更大战火，形成大兵压境之势，而朝中主和派却从中捣鬼，胡直孺所部孤军作战，陷入金兵的重重包围中，直孺不幸被虏。在敌营中，他保持了民族气节，过了很久才得到机会回朝。
宋徽、钦两帝被俘后，宋室南渡，高宗即位。建炎二年（1128年），胡直孺任洪州帅兼知府，冒着政治风险，冲开当时“士子不得挟苏黄稿”的禁令，为诗人黄庭坚征集遗稿。绍兴初，迁刑部尚书兼侍读，在朝论奏十事，高宗非常欣赏，在白团扇上御书杜甫：“文物多师古，朝廷半老儒”的诗句送他。同时又赐田租八百石，以示对他的倚重。随后又调他做兵部尚书兼擢吏部。可惜的是，他擢升兵部不久就去世了，卒于会稽（今浙江绍兴），谕葬云门白水塘。
著有《生还录》一卷，《西山老人文集》二十四卷，现已失传。胡直孺生有十一个儿子，其次子相，字作仲，因守墓就家于里溪。明正统、景泰间，其十一世有分迁上冯、尉村、后坞。十二世有分迁越城禹迹寺前、横路、妙家桥。
华林胡氏在胡直孺手里经历了由最鼎盛而致离散的时期。胡直孺曾将聚居山下的家族搬到浮云山上的华林书院，并在那里建立了一座“迢遥半市”的宅第。在此聚成的胡氏子孙达五百余口。为便于管理，吃饭分为男、女餐厅。一日三餐，以击鼓为号，鼓声一响，吃饭的人都云集各自的餐厅，一点都不会混乱。华林胡氏自此达到了最辉煌的鼎盛时期。此后，随着胡氏子孙仕途各异，家族逐渐分散开来，最后不得不将山上的财产交给浮云宫管理。
整个宋朝，华林胡氏曾走出了五十五名进士。宋端拱二年（989），胡克顺、胡用之叔侄同榜进士及第，成为当时的美谈。有诗赞曰：“四海二雄今绝少，一门双第古无多。”宋景德二年（1005），胡用时、胡顺之、胡用礼兄弟三人又同榜及第。看来胡家的应试教育做得不错，科举佳话自此享誉天下。
在胡氏家族众多人物中，载入《宋史》的人物有胡仲尧、胡仲容、胡克顺、胡用庄、胡用舟、胡直孺等。这里面最有才能、最受朝廷器重的人物是胡直孺。
木之生，或蘖而殇，或拱而夭；幸而至于任为栋梁，则伐；不幸而为风之所拔，水之所漂，或破折或腐；幸而得不破折不腐，则为人之所材，而有斧斤之患。其最幸者，漂沉汩没于湍沙之间，不知其几百年，而其激射啮食之馀，或仿佛于山者，则为好事者取去，强之以为山，然后可以脱泥沙而远斧斤。而荒江之濆，如此者几何，不为好事者所见，而为樵夫野人所薪者，何可胜数？则其最幸者之中，又有不幸者焉。
予家有三峰。予每思之，则疑其有数存乎其间。且其孽而不殇，拱而不夭，任为栋梁而不伐；风拔水漂而不破折不腐，不破折不腐而不为人之所材，以及于斧斤之，出于湍沙之间，而不为樵夫野人之所薪，而后得至乎此，则其理似不偶然也。
然予之爱之，则非徒爱其似山，而又有所感焉；非徒爱之而又有所敬焉。予见中峰，魁岸踞肆，意气端重，若有以服其旁之二峰。二峰者，庄栗刻削，凛乎不可犯，虽其势服于中峰，而岌然决无阿附意。吁！其可敬也夫！其可以有所感也夫！