除了各地農民起義，許多隋朝重臣也紛紛叛變。大業九年（613年），隋朝第二次征伐高句麗時，督運軍糧的楊玄感在黎陽（今河南凌縣東北）叛變。楊玄感是楊素的兒子，楊素曾經幫助隋煬帝登基，並且平定了漢王楊諒的叛亂，立有大功。楊玄感因為父親的關係，官至國柱、禮部尚書。當時朝政腐敗，隋煬帝對大臣一向懷有猜疑之心，內心對前途和命運深感不安的楊玄感一直在等待推翻隋煬帝的機會。隋煬帝第二次發兵征討高句麗時，派楊玄感督糧，楊玄感認為時機已到，就召集親戚故友，率兵起義了。楊玄感起兵後，隋朝一些貴族官僚子弟也紛紛響應，投奔到了楊玄感的軍中，如蒲山公李密，觀王楊雄的兒子楊恭道，大臣韓擒虎的兒子韓世諤，等等。另外，光祿大夫趙元叔、兵部侍郎斛斯政等人，也暗中與他通謀。李密給楊玄感提出了三條進軍策略：一是北據幽州，截斷隋煬帝的後路；二是西入長安，控制潼關；三是攻下洛陽。楊玄感採納了李密的第三條策略，他揮軍南下，進攻東都洛陽，並順利到達洛陽城下。楊玄感的起兵給朝廷帶來很大的衝擊，並進一步推動了農民起義，迫使隋煬帝倉促間放棄攻打高句麗，從遼東撤軍南下。楊玄感在洛陽城外屯兵後，遲遲沒有能夠攻下洛陽城，結果隋朝援軍趕到，楊玄感腹背受敵，被迫西撤，最後被追兵擊敗，死於葭蘆戍。
 
楊玄感起兵後，劉元進在餘杭地區率數萬人起義響應。八月，吳郡朱燮也舉兵起義，隨後，管崇帶領十萬人在晉陵起義，梁郡韓相國起義並迅速發展到十多萬人；九月，東海彭孝率數萬人起義；十月，呂明星率軍進攻東郡；十二月，扶風向海明起義。此外，杜伏威、輔公佑、苗海潮等人也分別在各地起義。起義大軍的隊伍越來越龐大，隋煬帝終於失去了控制全國的能力，長安、洛陽、江都等地都被農民起義大軍包圍了。到了大業十二年（616年），隋末農民戰爭進入了一個新階段，各地分散的起義軍逐步匯聚起來，最後形成了三支強大的隊伍，他們分別是竇建德領導的河北起義軍，杜伏威、輔公佑領導的江淮起義軍，以及由翟讓、李密領導的瓦崗軍。