家族历史可追溯到春秋时期孔子的学生颜回，历史祖父颜之推为南北朝时的著名学者，先后仕于梁、北齐、北周，终于隋，于是家居关中，遂为京兆万年（今陕西长安）人。颜之推学识渊博，尤善《周官》、《左传》，著有文集30 卷、《颜氏家训》20 篇，并行于世。颜之推从山东辗转跋涉到关中，跨越了南北阻隔，在读书治学的实践中，发现了不少典籍在流传中产生的问题，以及语言因古今、地域的不同而出现的差异，他对这些问题作了开创性的探讨，把这些心得与其他内容一并写入《家训》以备子孙遵循。
颜师古的父亲颜思鲁，以儒学显名，撰有《汉书决疑》。武德初年他为秦王府记室参军事。师古受家学熏陶，博览群书，精训诂之学，善作文章。隋仁寿年间，经人举荐，授安养尉之职。后因失职罢归长安，此后长达十年未能调任新职，迫于生计，以授徒为生。
颜师古兄弟四人。二弟颜相时，三弟颜勤礼，字敬之，颜真卿曾祖，幼而朗悟，识量宏远，工于篆籀，尤精训诂，与两兄师古、颜相时同为弘文、崇贤两馆学士，校定经史。四弟颜育德，任太子通事舍人，于司经校定经史。
颜师古是名儒颜之推的孙子、颜思鲁的儿子。少传家业，遵循祖训，博览群书，学问通博，擅长于文字训诂、声韵、校勘之学；他还是研究《汉书》的专家，对两汉以来的经学史也十分熟悉。
隋文帝仁寿年间，由尚书左丞李纲举荐，任安养县（今湖北襄樊）尉。尚书左仆射杨素见其年少，问他：“安养剧县，子何以治之？”颜师古回答：“割鸡焉用牛刀。”杨素惊其夸口。后来果然以政绩突出闻名。后因坐事免职居长安，十年不得官，家贫，以教授为业。
隋大业十三年（公元617年），太原留守李渊起兵入关，颜师古从父至同州朝邑长春宫谒见，被授予朝散大夫之职。
唐武德元年（公元618年），李渊称帝建立唐王朝，拜颜师古为敦煌公府文学，转起居舍人，再迁中书舍人，掌机密，专典皇帝诏敕。军国政务等重大诏令皆出于颜师古之手，其文才当时未有敢于与其相比者。颜师古勤于政事，又擅长文辞，其所拟制诰册奏之工整美好，名冠当时。
唐武德九年（公元626年），秦王李世民即皇帝位，颜师古被擢为中书侍郎，封琅琊县男。后坐事两次被贬。颜师古聪敏好学，精于训诂。
唐贞观七年（公元633年），颜师古被任命为秘书少监，专管校定古书的工作，每遇疑惑不解的奇文难字，他都能一一辨析，并说明其本源。贞观十一年（公元637年），颜师古奉诏与博士撰写成《五礼》，进爵为子。后又奉太子承乾之命注《汉书》。贞观十五年（公元641年）书成，进秘书监，以文学入选崇贤、弘文两馆学士。《汉书注》是颜师古晚年力作，在审定音读、诠释字义方面用功最多，成绩最大，解释详明，深为学者所重。当时即有“杜征南（杜预）、颜秘书（颜师古）为左丘明、班孟坚忠臣”之称誉。
贞观十九年（公元645年），颜师古随从太宗征辽东，途中病故，终年65岁，谥曰“戴”。墓地位于今山东省兰陵县芦柞镇前芦柞村东南。