酒醒香销愁不胜，如何更向落花行。去年高摘斗轻盈。
夜雨几番销瘦了，繁华如梦总无凭。人间何处问多情。
顺治三年（1646），潘耒出生于江南吴江县（今属江苏苏州）的一家书香门第。六岁丧父，依兄潘柽章生活。潘柽章，字圣木，号力田，康熙二年（1663）因浙江南浔庄廷鑨明史案牵连，与吴炎同被凌迟于杭州弼教坊。其嫂沈氏流放就道，时耒年仅十七，徒步送之。沈氏流放至广宁（辽宁省北镇县），中途流产，服药自杀。耒曾有《恸哭七十韵》《阁谷歌》《度关曲》三首诗为其兄所遭庄史之祸而作。
潘耒生而奇慧，读书十行并下，过目不忘，曾先后受业于长兄柽章、吴炎、王锡阐、徐枋、顾炎武等著名学者，博通经史、音韵、算数及宗乘之学。嗜好收藏砚台，并根据砚的形状、质地，分刻铭文，闲睱独自把玩，自得其乐，人称其有“石癖”。
康熙十七年（1678）清政府诏举“博学鸿儒科”，潘耒为左谕德卢琦和刑部郎中谢重辉交章推荐。试后，潘耒名列二等第二名，以布衣身份被授为翰林院检讨，参与《明史》修纂，主纂《食货志》六卷。潘耒在京为官五年，其间，除参修《明史》外，又被康熙帝亲自简拔为日讲起居注官，出任会试考官，分校礼闱。他对于时政亦多有建白，后因精敏敢言，无稍逊避为忌者所中，以浮躁降职，后因母忧归，遂不复出。康熙三十四年（1695），在福建建阳将顾炎武《日知录》三十二卷本刻版行世，潘耒在《日知录》原序曰：“当代文人才子甚多，然语学问者，必敛衽推顾先生”，并谓此书“惟宋、元名儒能为之，明三百年来殆未有也”。
康熙四十二年（1703）春，康熙南巡，复耒原官，越三年，皇帝又南巡，大学士陈廷敬欲荐起耒，耒曰：“止止止，吾初志也，吾分也。”并附一首《老马行》以谢，竟不复出。
潘耒晚年崇信佛学，好山水，遍游天台、雁荡、武夷、黄山诸名山，为文记之，名篇有《游南雁荡记》、《火焰峰》、《天柱峰僧饷黄独》、《仙居诸山游记》等。
木之生，或蘖而殇，或拱而夭；幸而至于任为栋梁，则伐；不幸而为风之所拔，水之所漂，或破折或腐；幸而得不破折不腐，则为人之所材，而有斧斤之患。其最幸者，漂沉汩没于湍沙之间，不知其几百年，而其激射啮食之馀，或仿佛于山者，则为好事者取去，强之以为山，然后可以脱泥沙而远斧斤。而荒江之濆，如此者几何，不为好事者所见，而为樵夫野人所薪者，何可胜数？则其最幸者之中，又有不幸者焉。
予家有三峰。予每思之，则疑其有数存乎其间。且其孽而不殇，拱而不夭，任为栋梁而不伐；风拔水漂而不破折不腐，不破折不腐而不为人之所材，以及于斧斤之，出于湍沙之间，而不为樵夫野人之所薪，而后得至乎此，则其理似不偶然也。
然予之爱之，则非徒爱其似山，而又有所感焉；非徒爱之而又有所敬焉。予见中峰，魁岸踞肆，意气端重，若有以服其旁之二峰。二峰者，庄栗刻削，凛乎不可犯，虽其势服于中峰，而岌然决无阿附意。吁！其可敬也夫！其可以有所感也夫！