在各地流民不断起义时，内迁的少数民族上层分子也相继起兵反晋，其中刘渊、石勒起兵最早。公元311年四月，匈奴首领石勒在苦县宁平城消灭十余万晋军，晋军元气大伤。六月，王弥、刘曜等攻下洛阳，杀王公以下三万余人，俘获晋怀帝。八月，又攻下长安。后来，晋将贾匹等在关中汉人的支持下夺回长安，迎司马邺为帝，是为愍帝。316年，刘曜围长安，愍帝出降，西晋灭亡。
匈奴是个历史悠久的北方民族集团，祖居在欧亚大陆的西伯利亚的寒温带森林和草原的交界地带，他们披发左衽。据《史记·匈奴列传》中记载，匈奴，其先祖夏后氏之苗裔也，曰淳维。唐虞以上有山戎、猃狁、荤粥，居于北蛮，随畜牧而转移。中国古籍中的匈奴是秦末汉初称雄中原以北的强大游牧民族。
