张忠相遇，双方一场大战，延岑战败，率部向北退到天水郡。

屋漏偏逢连夜雨，就在延岑与李宝交战的时候，割据巴蜀的公孙述派手下大将侯丹率军北上，袭取南郑，占领了汉中郡全境。

失去了老巢的延岑又接连遭到刘嘉、李宝联军的攻击，连吃败仗之后，在秦岭以南无法立足的延岑被迫北逃，他率部取道大散关，翻越秦岭进入关中，抵达陈仓。但刚到陈仓，汉中王刘嘉、功柱侯李宝率领着十余万大军又从后面追来了。

延岑大惊，急忙率军迎战，延岑率部在散关一带与刘嘉、李宝又大战一场，延岑再次被击败，万般无奈之下，延岑只得再向刘嘉投降。

刘嘉为了壮大自己的力量就再次收编了延岑。

不久，赤眉军派遣廖湛率领十八万大军进犯陈仓谷口，前来清剿刘嘉等更始残军。

刘嘉、李宝、延岑率部死战，斩杀了廖湛。

随后，刘嘉又命令李宝、延岑率部进驻右扶风，屯扎在杜陵，伺机觊觎长安。

建武二年九月，赤眉军派左大司马逄安带领十余万人来攻延岑，延岑与李宝合兵在杜陵与之激战，延岑等大败，数万士兵战死，延岑收拾散卒退走。

突围不成的李宝被迫投降逄安，但他秘密派人告诉延岑回军再战，他将做内应。

于是延岑回军再战，逄安带领本部人马空营迎击。

当逄安战疲欲回营休息时，见营中尽树白旗，部下士卒见此大乱，夺路回走，延岑趁机追击，赤眉军死伤十余万，逄安仅与数千人退回长安。

延岑两次击败赤眉军之后，军威大震，当时关中各割据势力纷纷依附于他。

延岑就想将关中据为已有，于是他再次背叛了刘嘉，率领本部人马入据蓝田，自立门户。

延岑大肆招兵封官，将张邯、公孙守、吕鲔、角闳、骆延、汝章等各种地方势力都招徕到自己的麾下，随后又自己任命各地的地方官员，企图长久地霸占关中三辅。

为了牢牢控制关中三辅，延岑率领汉中流民军主力占据蓝田之后，又派部将王歆占据下邽，芳丹占据新丰，蒋震占据霸陵，张邯占据长安，公孙守占据长陵，杨周占据谷口，吕鲔占据陈仓，角闳占据汧县，骆延占据盩厔，任良占据鄠县，汝章占据槐里，各部互为犄角之势。

这样，除了东部靠近函谷关的弘农郡大部在刘秀集团控制之下以外，几乎整个关中三辅地区都被延岑的势力所控制。

在这些投靠延岑的降将之中，张邯、公孙守二人是原绿林军首领。

吕鲔则是地方民团营堡势力的代表。

而角闳、骆延、任良、汝章等四人，则是当年跟着邓王廖湛攻打陈仓口败退下来、来不及跟着樊崇东归的那一部分人。

这些残渣余孽们在被延岑委任之前，他们都自称将军，拥兵多者有万余人，少的也有数千人。

此后，虽然他们接受了延岑的官职，彼此之间还是相互不服气，时常相互攻击，荼毒一方，给黎民百姓带来了无尽的灾难。