大削弱。于是只得在阵前与李罕之结为同盟,调转枪头,合力攻击刘经。
刘经善战,联军不敌,退守怀州。随后,张全义竭力说动李克用驰援,张全义、李罕之与李克用援军三路人马围攻刘经,最终大败刘军。刘经趁乱死里逃生挟持诸葛仲方投靠朱温,但是大势已去,手中已无人马可用。
同年,李罕之领河阳节度使,任张全义为河南尹。
888年,张全义趁李罕之出兵攻打河东晋、绛二州之时,趁其不备夺取河阳,自任河阳节度使,借机以要回义子诸葛仲方为条件假意投靠朱温,同年大败李罕之和李克用联军。不但胜利打入朱温内部成为他的心腹,同时掌握了整个洛阳。
889年,张全义恐朱温对他生疑,于是将自己的所有亲信转入地下,化整为零。主动请缨帮助朱温修缮洛阳宫殿,朱温听后大喜马上解除了他对张全义的戒心,。