东汉永元三年（公元九十一年），耿夔大破北匈奴于金微山（今天的阿尔泰山），北单于远遁，匈奴政权瓦解，自冒顿单于起侵扰中国三百年的匈奴步入末路。北单于的逃跑导致漠北权力真空，曾经烜赫一时的北匈奴四分五裂，尘埃落定，比较大的残余共有四支。
第一支是北单于弟弟於除鞬所统领的一部分残部。於除鞬是北匈奴的左谷蠡王，单于败逃后，於除鞬率领一部分残兵，自立为单于，退居蒲类海，并派遣使者，叩关请降。於除鞬所统领的人马，《汉书》前后记载不同，在单于败没是说有数千人，可是后面再次提到的时候，已经有二万余了，猜测是於除鞬安定下来之后，先前被打散的人马，陆续来归附，所以人口有所上升。
汉朝大度的接受了於除鞬的请求，并于永元四年，也就是大战后第二年，派遣耿夔持节前往新单于的驻地，颁发玺绶，并留下了一位中郎将兵屯伊吾卢城，名为护卫，实为监视。不过这也很正常，早先降汉的南单于也有汉朝的兵马“护卫”，主要是防备匈奴反复无定。因为此时漠北空虚，汉朝有意帮助新单于返回北庭，替汉驻守樊篱，可是还没有等到这个计划实行，新单于於除鞬便在第二年（永元五年）叛逃，擅自回到漠北，结果被汉兵追获斩首，部众也被俘虏歼灭，从此，这支北匈奴便湮灭在历史的尘埃中。
第二支北匈奴是留在匈奴故地后被并入鲜卑的一支。公元前九十一年前后，匈奴屡败，逐步西迁，鲜卑开始进入匈奴故地，北单于逃遁后，余部尚有十余万落（也就是户）残留在广袤的漠北各地，鲜卑转徙至此，这部分匈奴与鲜卑杂处，逐渐融入鲜卑之中，而鲜卑由于得到了新鲜血液的补充，也逐渐开始强大起来。融入鲜卑的匈奴中有一部分便是后来著名的建立了北周的鲜卑宇文部。宇文部出自匈奴，原先驻牧于阴山，公元二世纪时，其大人率部东迁，加入檀石槐（鲜卑首领）创立的部落军事联盟，渐渐的被鲜卑化，于是便成了宇文鲜卑。不只是宇文部，散处在漠北各地北匈奴和漠南的南匈奴在鲜卑朝西南迁移的过程中，不断融入鲜卑，与鲜卑通婚，出现了匈奴父鲜卑母的铁弗匈奴和鲜卑父匈奴母的拓跋鲜卑。最终，这一支十余万落五六十万人的匈奴消融在新兴的鲜卑中并在以后的近百年里融入汉族。
第三支北匈奴一直残留在漠北的西北角。漠北的大混乱似乎没有直接的影响到他们，他们仍然守着故地，没有移动。这部分匈奴有多少人，于史无考，但是却在那里一直存在到公元四世纪末五世纪初，并且力量似乎还不小，直到柔然兴起，此支匈奴与柔然发生摩擦，继而大战，战败后被并入柔然。
最后一支便是北单于亲自率领，远走康居的一支。说起康居，又引出一段旧日恩怨。还记得前阵子提到过的郅支单于？他在战败后也是逃亡康居，奢望东山再起，结果却被陈汤矫诏调兵四万余人，西越帕米尔，击杀于郅支城。康居派精兵万余人前来救援，也被陈汤击退。那么，康居究竟和汉有什么恩怨，为何要屡屡接纳汉朝的仇敌呢？