与嚣起兵
王遵的父亲是上郡太守。王遵年少时就为人豪侠，有辩才。更始元年（23年），王遵与隗嚣同时起兵，为隗嚣的部下，并与隗嚣投归更始帝刘玄。更始三年（25年），六月，光武帝刘秀称帝，建立东汉政权，隗嚣便向更始帝建议把政权移交给光武帝叔父国三老刘良，更始帝不听。诸将领想劫持更始帝东归，隗嚣参与了此次谋划。事情败露后，更始帝派人召见隗嚣，隗嚣称病不去，与部将王遵和周宗率军自守。更始帝派执金吾邓晔率军包围隗嚣，隗嚣关门拒守。到黄昏时，隗嚣突破包围，与数十名骑兵乘夜劈开城门，逃回天水。再招聚旧部王遵等人，占据原来的地盘，自称西州上将军，任命王遵为大将军。
归附东汉
王遵虽然是与隗嚣一起举兵，但时常有归附东汉的意向。又多次劝隗嚣派遣儿子入朝侍奉，前后对隗嚣辞谏很恳切，隗嚣不从，恰逢建武六年（30年），光武帝派来歙招降王遵，王遵离开隗嚣，和家属一起东到京师洛阳（今河南洛阳）归顺东汉，被任命为太中大夫，封为向义侯。建武八年（32年），来歙夺取略阳。隗嚣惧怕汉军将至，派诸将距守屯驻要塞，自己率领大军围攻来歙。成家政权的公孙述也派遣将领李育、田弇协助隗嚣攻打来歙，连月不能攻克。光武帝于是率领诸将西征，各路兵马齐向上陇进伐，派王遵持节监大司马吴汉留屯于长安。王遵知道隗嚣必将败灭，而他与隗嚣部将牛邯是旧交，知道他有归顺东汉的想法，就写信劝他归顺东汉。牛邯得到书信，思考十多天，于是归顺东汉，被任命为太中大夫。
