青年时代曾师事汪道昆、王世贞；后倾心“公安派”。交游极广，与戏曲家张凤翼、汤显祖、屠隆以及袁宏道兄弟等的友谊都很深，与李贽也有过来往。他曾长期生活在南京、苏州等地，晚年住在黄山，专心整理著述。潘之恒一生爱好戏曲，曾多次主持“曲?”活动。他写了许多文章，详细记录了从隆庆四年(1570)至万历四十七年(1619)整整50年间昆山腔演出的许多具体情况，保留了不少极为珍贵的历史资料。
他总结、分析了戏曲表演艺术的经验，提出了一些很有见地的观点，丰富了中国戏曲理论宝库。潘之恒认为，戏曲是“生于千古之下，而游于千古之上”，“显陈迹于乍见，幻灭影于重光”，目的是“悟世主而警凡夫”。他主张戏曲表演必须从生活出发，“以情写情”，反对简单、生硬、机械摹仿。他认为“为剧必自调音始”，必须“先正字，而后取音”。他要求演员必须掌握“曲余”的技巧，要用饱满的感情，唱出曲中的余韵，使人感到余音袅袅，其味无穷。他从“度”、“思”、“步”、“呼”、“叹”五个方面，论述了表演艺术应该注意的许多具体问题。他认为表演一定要注意分寸，合乎规矩、节奏。只有“浓淡繁简，折衷合度”，演出才能得其意，传其情，收到良好的效果。潘之恒的这些意见，对于帮助演员提高表演艺术，具有一定的积极意义。因此当时人们都把他视为“赏音”，誉为“独鉴”。许多人还认为，演唱昆山腔，只要得到他的称许，就算有了定评。潘之恒一生和演员关系极为密切，他曾怀着极大的同情，为全国各地的许多女演员写了不少小传，因而获得“姬之董狐”的称号。潘之恒生活在昆山腔正走向全面繁盛的历史时代，他以一个诗人的眼光来看戏、评戏，尤其在评论戏曲表演艺术方面，成就最为突出。
潘之恒的戏曲评论，在中国戏曲批评史上占有重要地位。潘之恒论戏曲表演艺术的文章和所写演员小传都收入他的综合性著作《亘史》和《鸾啸小品》中。