另一方面，江南自孙吴以来，世家大族一直欺压寒门庶族。隋灭陈统一中国后，南方士族豪强因对隋实行的限制政策不满，便利用民间对隋欲移民关中流言的惊恐心理，乘机煽动叛乱。南陈灭亡之后，杨素率军先后平定江南士族豪强高智慧、沈玄侩、沈孝彻等叛乱的战争，都是这个原因。