诗的起笔突兀，一开始就指出：不论是南去北来，还是北去南来，诗人总是想去就去，想休息就休息，无优无虑，恬然适意。诗的第二句紧承首句写道：“白蘋吹尽楚江秋。”诗人象是回答说，正是在萧萧秋风把白蘋都吹落了的深秋季节才如此这般说来。他身处秋气潇杀、万物凋零的深秋季节，丝毫没有悲哀凄凉的感觉，反而无优无愁，安然处之。本来，诗人得休便休已经够洒脱了，再有后一句萧瑟景象的衬托，就更显示出超尘脱俗的气质。在中国历史上，历来有“悲秋”的传统。一到秋天，西风瑟瑟、枯叶飘零，这萧条凄清的景象极易引发诗人对不如意的人生大兴悲叹之辞。早在战国时期，楚人宋玉作《九辩》，第一句就叹道：“悲哉！秋之为气也，萧瑟兮草木摇落而变衰。”而此诗作者能如此逢秋而不悲，随遇而安、怡然自得。诗的前两句在叙述诗人不寻常的举止的同时也留下了一个问号。
诗的三、四句紧扣首二句之意、“道人不是悲秋客，一任晚山相对愁。”在这里，诗人以道人自比，表现出诗人对闲适味道。飘逸、淡泊无求境界的向往。诗人之所以能够“南去北来休便休”，就是因为他不是见秋生悲的“悲秋客”，而是不以物喜，不以物悲的道人。因此，当众人对秋生悲时，诗人自然无悲可言，“一任晚山相对愁”。此时，作者远远望去，楚江两岸的山脉凄清寥落，像是在飒飒秋风中相对发愁。晚山本来不会悲愁，在超脱淡泊的道人看来，晚山也不会悲愁。只有在悲秋人眼里，晚山连同周围的一切才看上去象是都在悲叹哀伤。在此，诗人没有直接去写愁容满面的“悲秋客”，而是通过“悲秋客”眼里所看到的秋暮中凄凉悲伤的景物来写“悲秋客”，这样写，更显示出诗人超然物外的潇洒飘逸。
程颢是北宋有名的理学家，他这首诗就有些谈禅（佛教道理）的味道。但诗人并不是真的那么旷达，真的能超凡脱俗。其实他写要“休便休”，恰恰说明他对“南去北来”已经感到疲倦，渴望守着家人过宁静安逸的生活；他写“白蘋吹尽楚江秋”，可见他对秋天的到来是敏感的；他写“晚山相对愁”，恰恰反映了诗人内心深处的忧愁。所以欣赏诗歌，既要看诗歌中的议论，更要看诗歌中所描写的形象。
