李密这时向他献计，认为：北据幽州，断杨广后，方为上策；西入长安，占据潼关（今陕西潼关东北），和隋朝打消耗战为中策；就近进攻东都洛阳，则胜负难测，有可能腹背受敌为下策。
    不过，杨玄感却认为李密的下策方为上计。他引兵从汲郡（今河南淇县东）渡河，围攻东都洛阳。而此时，原被他十分看重的唐祎，却是突然叛变了杨玄感。此人到了河内之后，便立刻跑到了东都，向留守的朝中官员报告了杨玄感谋反之事。
    东都留守的越王杨侗、非常害怕，但京兆尹樊盖却是沉着冷静，积调兵防御。组织当地姓一起守住临清关，杨玄感虽多次进攻却依然法过河，于是他便在汲郡南渡黄河，由于他打到一就开仓放粮一，再加上人人都对杨广失望，随之叛乱的人很多，一直络绎不绝。
    杨玄感起兵数天之后，大军进兵河南郡，人数达到十几万。樊盖命令河南郡守裴弘策拼死抵抗，但裴弘策兵少将寡，与杨玄感作战之后，很快战败。河南郡的各县父老乡亲们有感于杨玄感放粮济民，加上他的父亲杨素的威望，皆竞相送牛送酒，慰劳杨玄感军。