早年经历
魏知古为人正直，二十岁便考中进士，历任著作郎、凤阁舍人、卫尉少卿，参与编修国史，又兼任检校相王府司马。神龙元年（705年），魏知古担任吏部侍郎，进位银青光禄大夫，因母丧离职，后被起复为晋州刺史。
疏谏时政
景云元年（710年），相王李旦继位，是为唐睿宗。魏知古因曾任相王府属官，被拜为黄门侍郎，兼修国史。景云二年（711年），魏知古又改任右散骑常侍。
当时，唐睿宗为女儿金仙公主、玉真公主修建道观。魏知古上疏进谏道：“安养百姓是治政之本。为公主修建道观，是要树功德来祈求福佑，但却占用民宅，使百姓无处安身，这既背人事，也有违天时，陛下为人父母，怎能安心。君主言行都要记载在史书中，因此非礼勿言，非礼勿动。臣有谏诤之责，又负责修史，如记下陛下不合常理的举动，后人会怎么看？臣认为盛暑修观非常不妥。请陛下体察民意、罢去劳役，造福于民。”唐睿宗不听。
不久，魏知古又进谏道：“臣听说百姓以君为天，君以百姓为本。陛下登基后，百姓都以为朝廷会施新政，但如今却风教衰败，府库空虚，人力凋敝，劳役不止，官员日增。为二位公主修建道观，并非急务，臣此前请求停止这一劳役，但仍未停止。今年水旱成灾，五谷不熟，若到明年春天，一定会发生饥荒。陛下为人父母，想用什么方法来拯救呢？突厥为患，为时已久，如今又遣使来朝，请求和亲。他们乘中国饥虚，在和亲之际，倘若窥测侵犯，国家应怎么提防呢？”唐睿宗认为他言辞恳切，任命他为同中书门下平章事，兼任太子左庶子。
担任宰辅
先天元年（712年），魏知古担任户部尚书、同中书门下三品。八月，太子李隆基继位，是为唐玄宗，尊父亲唐睿宗为太上皇。魏知古又被擢拜为侍中。不久，魏知古随唐玄宗到渭川打猎，赋诗讽谏。唐玄宗下诏褒扬魏知古，对他大加赏赐。
开元元年（713年），魏知古进封梁国公。当时，太平公主与宰相窦怀贞等人意欲作乱，密谋废立。魏知古向唐玄宗告发，唐玄宗遂抢先发动政变，诛杀太平公主等人。政变成功后，魏知古获赐实封三百户。
遭馋罢相
魏知古早年曾得到姚崇的引荐，后与姚崇并列相位，受到姚崇的轻视。姚崇奏知皇帝，任命魏知古为吏部尚书，让他到东都洛阳主持选官，魏知古非常不满。姚崇之子认为父亲对魏知古有恩，便趁机请托于他。开元二年（714年），魏知古从洛阳回京，将此事告知唐玄宗。
不久，玄宗假意问姚崇道：“你儿子才能如何？现在何处？”姚崇揣知玄宗的心意，便答道：“臣有两个儿子在洛阳任职，欲望很多但不谨慎。臣早年曾有恩于魏知古，他们一定是借此请托于魏知古。”唐玄宗认为姚崇公正无私，而魏知古却有负于姚崇，便欲罢免他的官职。姚崇道：“臣的儿子行为失检，扰乱法纪，陛下却罢免魏知古，天下人一定会以为陛下偏私于臣。”唐玄宗最终还是在同年五月将魏知古罢为工部尚书。
病逝
开元三年（715年），魏知古病逝，终年六十九岁，追赠幽州都督，谥号为忠。
780年（建中元年），魏知古与房玄龄、杜如晦等三十七位宰臣被唐德宗定为上等。
848年（大中二年），魏知古与李岘、王珪等三十七位功臣被唐宣宗图像于凌烟阁。
儿子
魏哲，官至延安太守。
魏毖，官至阳安太守。
魏林，官至朔州刺史。
魏珏，官至鸿胪少卿。
魏曜，官至赞善大夫