母死后，背土起坟。曾被衙吏欺凌，祭遵结交宾客杀了衙吏。

起初，县中以为他柔弱，以后都害怕他了。

刘秀破了王寻等，回往颍阳，祭遵以县吏身份几次进见，刘秀喜爱他的容貌仪表，令他暂为门下吏。

从征河北，为军市令。

刘秀的舍中儿(家奴)犯了法，祭遵把他杀了。

刘秀发怒，令将祭遵拘捕。

这时主簿陈副劝谏说:“明公常想要众军整齐，现在祭遵奉行法令不避权势，正是教化法令所需要的哩。“

刘秀就赦免了他，令他为刺奸将军。

对诸将说“:对祭遵要多加小心!我舍中儿犯法他照样杀了，对你们是绝不会徇私的。“

不久又拜偏将军，跟从平定河北，以功封为列侯。

建武二年春，拜为征虏将军，封为颍阳侯，与骠骑大将军景丹、建义大将军朱佑、汉忠将军王常、骑都尉王梁、臧宫等入箕关，南击弘农、厌新、柏华蛮中贼。

祭遵中了弩箭，伤口流血，众人看到祭遵受伤，逐渐引退，祭遵呼叫斥骂不止，士卒都加倍苦战，于是大破贼兵。

当时新城蛮中山贼张满，屯结兵士于险要之处为害人民，诏令祭遵去攻击，祭遵断绝了张满的粮道，张满几次挑战，祭遵坚守壁垒不出。

而厌新、柏华的残余重新与张满会合。

于是攻下了霍阳聚，祭遵于是分兵予以击破迫其投降。

建武三年春，张满饥饿困倦，祭遵攻破其城，活捉张满。

起初，张满祭祀天地，自己说当为王，既被捉，叹道“:谶文误了我!“

于是把他及其妻子儿女都斩了。

祭遵引兵南击邓奉弟邓终于杜衍，攻破了。

时涿郡太守张丰捉住使者举兵造反，自称无上大将军，与彭宠连兵。

建武四年，祭遵与朱佑及建威大将军耿弇、骁骑将军刘喜共同攻击张丰。

祭遵兵先到，急攻张丰，张丰的功曹孟厷捉住张丰投降。

起初，张丰喜好方术，有道士说张丰当做天子，以五彩囊裹着石头系在张丰的肘子上，说石中有玉玺。

张丰相信了，就造反。

既被捉当斩，他还说:“肘有玉玺。“

祭遵将其石椎破，张丰才知被道士骗了，仰天叹道:“当死无所恨!“

诸将都引回，祭遵受诏命留屯良乡抵拒彭宠。

因而派遣护军傅玄袭击彭宠部将李豪于潞，大破其军，斩首千余级。

相拒一年多，几次挫败其锋，彭宠党徒许多都投降。等到彭宠死，祭遵进军以平定其地。

建武六年春，诏令祭遵与建威大将军耿弇、虎牙大将军盖延、汉忠将军王常、捕虏将军马武、骁骑将军刘歆、武威将军刘尚等从天水伐公孙述。

军队停留长安，刘秀车驾也到了，而隗嚣不想让汉兵上陇，借故推脱以为辞说。

刘秀召集诸将商议。

都说“:可以暂时拖延隗嚣日月之期，加封他手下的将帅，以促其分散瓦解。“

祭遵说:“隗嚣怀挟奸谋已久。如果按兵不动拖延时日，就会促使他诈谋更深，而使公孙述增加警备，所以不如直接进兵。“

刘秀听从了，就派遣祭遵为先锋。

隗嚣派其将王元拒于陇坻，祭遵进击，破王元军，追到新关。

等到诸将到，与隗嚣战，都失败了，引军退陇。

刘秀诏令祭遵屯军于汧，令耿弇屯军于漆，令征西大将军冯异屯军于栒邑，令大司马吴汉等回军长安。

自此以后祭遵几次挫败隗嚣。

建武八年秋，再从刘秀上陇。等到隗嚣破灭，刘秀东归经过汧，到祭遵军营，慰劳饱飨士卒，作黄门武乐，深夜才停止。

这时祭遵有病，诏赐厚厚的坐褥，上面覆盖着皇帝用的御盖。

再令他进兵陇下。

等到公孙述派兵援救隗嚣，吴汉、耿弇等全都逃奔而回，只有祭遵独留不肯退却。

建武九年春，在军中去世。

祭遵灵柩到河南县，帝诏遣百官先到治丧场所会齐，光武身着白色丧服驾临，望着哭泣哀恸。

回经城门，阅过丧车，涕泣不能自已。

丧礼成，又亲自以太牢之礼祭祀，如宣帝办霍光丧事一样。

诏大长秋、谒者、河南尹护丧事，大司农负责费用。

等到安葬，帝车驾