酒醒香销愁不胜，如何更向落花行。去年高摘斗轻盈。
夜雨几番销瘦了，繁华如梦总无凭。人间何处问多情。
早年经历
魏知古为人正直，二十岁便考中进士，历任著作郎、凤阁舍人、卫尉少卿，参与编修国史，又兼任检校相王府司马。神龙元年（705年），魏知古担任吏部侍郎，进位银青光禄大夫，因母丧离职，后被起复为晋州刺史。
疏谏时政
景云元年（710年），相王李旦继位，是为唐睿宗。魏知古因曾任相王府属官，被拜为黄门侍郎，兼修国史。景云二年（711年），魏知古又改任右散骑常侍。
当时，唐睿宗为女儿金仙公主、玉真公主修建道观。魏知古上疏进谏道：“安养百姓是治政之本。为公主修建道观，是要树功德来祈求福佑，但却占用民宅，使百姓无处安身，这既背人事，也有违天时，陛下为人父母，怎能安心。君主言行都要记载在史书中，因此非礼勿言，非礼勿动。臣有谏诤之责，又负责修史，如记下陛下不合常理的举动，后人会怎么看？臣认为盛暑修观非常不妥。请陛下体察民意、罢去劳役，造福于民。”唐睿宗不听。
不久，魏知古又进谏道：“臣听说百姓以君为天，君以百姓为本。陛下登基后，百姓都以为朝廷会施新政，但如今却风教衰败，府库空虚，人力凋敝，劳役不止，官员日增。为二位公主修建道观，并非急务，臣此前请求停止这一劳役，但仍未停止。今年水旱成灾，五谷不熟，若到明年春天，一定会发生饥荒。陛下为人父母，想用什么方法来拯救呢？突厥为患，为时已久，如今又遣使来朝，请求和亲。他们乘中国饥虚，在和亲之际，倘若窥测侵犯，国家应怎么提防呢？”唐睿宗认为他言辞恳切，任命他为同中书门下平章事，兼任太子左庶子。
担任宰辅
先天元年（712年），魏知古担任户部尚书、同中书门下三品。八月，太子李隆基继位，是为唐玄宗，尊父亲唐睿宗为太上皇。魏知古又被擢拜为侍中。不久，魏知古随唐玄宗到渭川打猎，赋诗讽谏。唐玄宗下诏褒扬魏知古，对他大加赏赐。
开元元年（713年），魏知古进封梁国公。当时，太平公主与宰相窦怀贞等人意欲作乱，密谋废立。魏知古向唐玄宗告发，唐玄宗遂抢先发动政变，诛杀太平公主等人。政变成功后，魏知古获赐实封三百户。
遭馋罢相
魏知古早年曾得到姚崇的引荐，后与姚崇并列相位，受到姚崇的轻视。姚崇奏知皇帝，任命魏知古为吏部尚书，让他到东都洛阳主持选官，魏知古非常不满。姚崇之子认为父亲对魏知古有恩，便趁机请托于他。开元二年（714年），魏知古从洛阳回京，将此事告知唐玄宗。
不久，玄宗假意问姚崇道：“你儿子才能如何？现在何处？”姚崇揣知玄宗的心意，便答道：“臣有两个儿子在洛阳任职，欲望很多但不谨慎。臣早年曾有恩于魏知古，他们一定是借此请托于魏知古。”唐玄宗认为姚崇公正无私，而魏知古却有负于姚崇，便欲罢免他的官职。姚崇道：“臣的儿子行为失检，扰乱法纪，陛下却罢免魏知古，天下人一定会以为陛下偏私于臣。”唐玄宗最终还是在同年五月将魏知古罢为工部尚书。
病逝
开元三年（715年），魏知古病逝，终年六十九岁，追赠幽州都督，谥号为忠。
木之生，或蘖而殇，或拱而夭；幸而至于任为栋梁，则伐；不幸而为风之所拔，水之所漂，或破折或腐；幸而得不破折不腐，则为人之所材，而有斧斤之患。其最幸者，漂沉汩没于湍沙之间，不知其几百年，而其激射啮食之馀，或仿佛于山者，则为好事者取去，强之以为山，然后可以脱泥沙而远斧斤。而荒江之濆，如此者几何，不为好事者所见，而为樵夫野人所薪者，何可胜数？则其最幸者之中，又有不幸者焉。
予家有三峰。予每思之，则疑其有数存乎其间。且其孽而不殇，拱而不夭，任为栋梁而不伐；风拔水漂而不破折不腐，不破折不腐而不为人之所材，以及于斧斤之，出于湍沙之间，而不为樵夫野人之所薪，而后得至乎此，则其理似不偶然也。
然予之爱之，则非徒爱其似山，而又有所感焉；非徒爱之而又有所敬焉。予见中峰，魁岸踞肆，意气端重，若有以服其旁之二峰。二峰者，庄栗刻削，凛乎不可犯，虽其势服于中峰，而岌然决无阿附意。吁！其可敬也夫！其可以有所感也夫！