汉初，也是匈奴之患最为严重的时期，西汉前期，在冒顿单于的统治下，匈奴空前强大，曾一度将汉高祖刘邦率领的三十万大军围困于白登山。
当时匈奴首领口出狂言要抢走刘邦的老婆吕雉，而汉朝开国诸位将领也并没有什么实质性的表示，只有樊哙一人声称愿提十万兵去攻打匈奴，不过樊哙也只是说说，并没有与匈奴发生任何冲突。
随后，汉朝派出一些贵族女子嫁给匈奴单于，与匈奴建立一个非常不牢靠
的契约关系。此时，汉朝同匈奴的关系一直处于下风，直到汉武帝时期名将辈出，中原王朝也让匈奴体会到什么叫做“犯我大汉者，虽远必诛。”，匈奴不再是处处压着中原王朝的游牧民族。
汉武帝时期大兴北伐，卫青、霍去病等名将对匈奴屡战屡胜，彻底将匈奴主力击溃，肃清了漠南地区的匈奴势力。汉元帝时，匈奴内乱，分裂为呼韩邪单于部和郅支单于部。呼韩邪单于被郅支单于击败，南下依附汉朝，向汉朝称臣。
这样一来，汉朝同匈奴之间的关系便发生了天大的转变，原来是汉朝积极同匈奴和亲，希望匈奴不要骚扰中原王朝。此时此刻，反而成了匈奴求着跟汉朝和亲，并希望通过和亲拉进两家之间的关系。
东汉初立之时，中原混战，群龙无首，无暇北顾，塞外的匈奴乘机发动了相当猛烈的攻势，边塞地区损失惨重。
从汉光武二十二年起，匈奴内部争权夺利的斗争激化。与此同时，匈奴境内又连年大旱，赤地千里，瘟疫流行，乌桓、鲜卑等部也乘机起来反抗，随着匈奴内部矛盾的尖锐化，至建武十四年，南边八部大人共议立呼韩邪比为单于，遣使请求内附。并表示“愿水为藩蔽，捍御北虏’。
匈奴由此分为南、北两大部，故又称为——“北匈奴”与“南匈奴”，匈奴大联盟从此——宣告分裂。
边塞形势发生了戏剧
性的变化。
南边八部匈奴族众拥立首领——呼韩邪单于（呼韩邪单于为名号，此为第二个呼韩邪单于），这个呼韩邪单于是西汉末年呼韩邪单于之孙，向往祖父朝汉和亲的故事，与东汉关系十分亲近，主动要求——归款东汉的五原塞，拉开了汉匈关系的新篇章，也由此引发了匈奴族众大规模的内迁运动。
对于这样一个变化，刘秀为首的东汉朝廷真是喜出望外。
东汉官府不仅允许南单于入居云中地区，而且设置匈奴中郎将之职，其责任就是率领官军，护卫入居的匈奴部众。
这也是南匈奴部众第一次大规模向长城以南地区迁徙。
其迁徙的规模与稳定性，都是前所未有的。
南单于迁至西河郡美稷县之后，南匈奴部被分散至凉州北地郡，并州朔方郡、五原郡、云中郡、雁门郡、定襄郡，幽州代郡。再加上南单于本部在西河郡，一共八郡。
南单于——屯西河郡。
韩氏骨都侯——屯北地。
右贤王——屯朔方。
当于骨都侯——屯五原。
呼衍骨都侯——屯云中。
郎氏骨都侯——屯定襄。
左南将军——屯雁门。
要籍骨都侯——屯代郡。
这八郡位于东汉中北部边疆，是防御北匈奴侵扰的前线。光武帝令南匈奴各部散居八郡之中，同时又命这八郡之中南匈奴各部军队协助本郡和护匈奴中郎将属下军队防卫北匈奴。
为了回报东汉朝廷的厚遇，南
匈奴单于主动要求与东汉边防军队一起，共同担负起抗击北匈奴的重任。
公元八八年，趁北匈奴内外交困，实力大为削弱之际，南单于上书东汉朝廷，有意借助东汉的力量，吞并北匈奴。
在这份上书中，他表达了对东汉朝廷的感激之情：臣累世蒙恩，不可胜数……臣伏念先父归汉以来，被蒙覆载，严塞明候，大兵拥护，积四十年。