王莽天凤五年（18），匈奴乌累单于咸死后，其弟左贤王舆继位，是谓呼都而尸道皋若鞮单于。由于王莽的倒行逆施，破坏了汉匈的友好关系，也促成了其自身的灭亡。更始政权建立，刘玄遣中郎将归德侯刘飒、大司马护军陈遵出使匈奴，授单于汉旧制玺绶，要求恢复传统的友好往来。单于舆骄傲语使者：“匈奴本与汉为兄弟，匈奴中乱，孝宣皇帝辅立呼韩邪单于，故称臣以尊汉。今汉亦大乱，为王莽所篡，匈奴亦出兵击莽，空其边境，令天下骚动思汉，莽卒以败而汉复兴，亦我力也，当复尊我！”态度极其强硬。
从此匈奴内部反汉的敌对势力抬头，汉匈关系再趋紧张。
东汉建立初年，匈奴利用中原战乱之机，扶植割据势力，分裂汉朝。建武元年（25），据有安定三水（今宁夏同心县东）的卢芳，自立为上将军、西平王，派使者与西羌、匈奴相勾结，匈奴单于舆乃使句林王率数千骑兵迎接卢芳兄弟入匈奴，并且立卢芳为“汉帝”，以芳弟卢程为中郎将，率领匈奴骑兵回到安定，以为声援。
不仅如此，匈奴单于还派使者与起兵边郡的五原人李兴、随昱、朔方人田飒、代郡人石鲔、闵堪等和亲，笼络他们支持卢芳回内地称帝，企图通过这位“汉帝”，变中原为匈奴的属地。建武五年（29）十二月，李兴等人引兵至单于庭迎接卢芳人塞，并在九原县（今内蒙古包头市西）建立傀儡政权，占有五原、朔方、云中、定襄、雁门等五郡，分置守、令。卢芳与匈奴连兵攻掠东汉北部边郡，人民不堪其苦。
当时东汉政府初建，力量比较薄弱，而且刘秀正忙于进行统一战争，无暇顾及北部边事，对匈奴的侵扰，只能加强边塞，采取防御政策。
建武六年（30），刘秀始先后派刘飒、韩统出使匈奴，并馈赠大量金币，企图重修旧好。然而单于态度倨傲，对汉使词语狂悖，对汉边境侵掠如故。建武九年（33），刘秀遣大司马吴汉指挥王常等四将军共五万余人出击卢芳。匈奴出兵救援，连战经年，汉军无功而还，匈奴气焰更加嚣张，侵掠有加无已。
东汉政府只得采取守势，以朱祜屯常山（今河北元氏西北），王常屯涿郡（今河北涿县），侯进屯渔阳（今北京密云西南），王霸为上谷太守，以防匈奴的进扰。建武十五年（39），匈奴攻掠日甚，州郡无法抵御。刘秀遣吴汉率马成、马武等北击匈奴，徙雁门（今山西朔县东南）、代郡（今山西阳高西北）、上谷（今河北怀来东南）吏民六万余口于居庸、常山关以东，以避匈奴的杀掠。同时，在边地大筑亭候，修烽火，增沿边兵每郡数千人，以加强防守。
古代风景画鉴赏
匈奴单于闻汉朝悬赏购求卢芳，贪得财帛，故意遣卢芳还降。卢芳派使请降，刘秀为使卢芳和辑匈奴，立其为代王。卢芳亦以自归为功，不称匈奴所遣，单于怕暴露阴谋，也未敢明言真相，因而东汉政府未予赏赐。
匈奴单于恼羞成怒，更加怨恨，侵掠更加深入。建武二十年（44），匈奴两次攻掠上党（今山西长子）、扶风（今陕西兴平）、天水（今甘肃通渭西）一带。明年春，又与乌桓、鲜卑连兵攻掠北边，代郡以东受害尤深，“五郡民庶，家受其辜，至于郡县损坏，百姓流亡，边陲萧条，无复人迹”。是年冬，匈奴又侵扰上谷、中山（今河北定县）等地，“杀略钞掠甚众，北边无复宁岁”。
建武二十二年（46），匈奴单于舆死，其弟左贤王蒲奴立为单于。匈奴内部因继位问题发生矛盾；加以匈奴国内连年蝗旱，赤地千里，人畜饥疫，死耗过半，力量大为削弱，不得不暂停军事攻掠，并遣使至渔阳请求和亲，以缓和汉匈之间的紧张关系。呼韩邪单于之孙、匈奴南边诸部首领日逐王比以不得立，心怀愤恨，乃密遣汉人郭衡携带匈奴地图，于建武二十三年面见东汉西河郡（治离石，今属山西）太守，请求归附。匈奴八部大人共议立比为单于，仍袭用呼韩邪名号，表示继承西汉末年汉匈的传统关系。
明年，日逐王比率领南边所属八部兵四五万人降汉。光武帝采纳五官中郎将耿国的建议，接受比的归降，令其“东扦鲜卑，北拒匈奴，率厉四夷，完复边郡”，并承认他为南匈奴呼韩邪单于。从此匈奴分裂为南北两部，汉匈关系发生了转折性的变化。
建武二十六年（50），东汉政府派中郎将段郴等出使南匈奴，立单于庭于五原（今内蒙古包头市西北）西部，设置“使匈奴中郎将”，率兵保护并指导督察，南单于遣子入侍。汉王朝赏赐单于及阏氏、左右贤王以下官员冠带、玺绶、车马、金帛、甲兵、什器及粮食二万五千斛，牛羊三万六千头，缯缲万匹，絮万斤。其年冬，南单于因与北匈奴交战失利，东汉政府决定将单于庭南迁至西河美稷（今内蒙古准格尔旗北），命“使匈奴中郎将”及西河长史派兵保护单于，并恢复沿边郡县，南单于亦列置诸部王，率领部众协助戍守，侦察北匈奴动静。
古代风景画
南单于归附汉朝，北匈奴单于蒲奴甚为惶恐。先是归还以前所掠汉民以示善意；建武二十七年（51）又假意遣使至武威请求与汉和亲。东汉政府召集公卿廷议，众臣议论纷纭，未能作出决断。刘秀认为北匈奴的军事力量尚强，彻底消灭，还非其时，不如息民待时，以观其变。明年，北匈奴再次遣使进贡马匹及裘皮，乞求和亲，并请赐与音乐。光武帝交三公府商议酬答良策，司徒掾班彪建议用西汉宣帝时呼韩邪、郅支两单于的历史教育北单于蒲奴，指明“汉秉威信，总率万国，日月所照，皆为臣妾，殊俗百蛮，义无亲疏，服顺者褒赏，叛逆者诛罚，善恶之效，呼韩、郅支是也”。意思是，蒲奴单于必须真心归降，表里如一，如有二意，必将落得和郅支单于同样的下场。同时赐给布帛、弓矢、利剑等物作为酬答，但不派使者回访。所请乐器，因单于国尚未安，方厉武节，以战功为务，暂不赐予。光武帝采纳了班彪的意见。其后，北匈奴侵掠行径稍有收敛。
到了明帝时期，北匈奴的力量逐渐强盛，他们控制西域，经常侵扰河西和北方郡县，掳掠南匈奴人和汉人。东汉王朝为了避免匈奴的侵扰，答允与北匈奴“合市”。南匈奴一些叛者因汉与北匈奴交使，内怀嫌怨，秘密同北匈奴贵族勾结，准备共同反对东汉王朝。东汉政府于永平八年设置度辽营，以中郎将吴棠行度辽将军事，屯五原曼柏（今内蒙古东胜东北），以隔绝南北匈奴的交通。北匈奴虽遣使入贡，而仍多次在河西边郡大肆攻掠，“焚烧城邑，杀略甚众，河西城门昼闭”，边郡再度受到威胁。东汉王朝为确保河西四郡的安全，并相机恢复同西域的交通，决定改变以防御为主的策略，采取主动出击的方针。一永平十六年（73），明帝派窦固等率领汉军和南匈奴、羌胡等族士兵共四五万人分四路出击匈奴。窦固、耿忠一路，出酒泉塞至天山（今新疆吐鲁番北），击败呼衍王，斩首千余级，追至蒲类海（今新疆巴里坤湖），占领伊吾卢城（今新疆哈密西），置宜禾都尉，留吏士屯守。其余三路，因匈奴闻风北逃，皆无功而还。次年，耿秉、窦固等率军一万四千骑，征服车师（今新疆奇台、吐鲁番等地），复置西域都护及戊己校尉。
章帝继位后，北匈奴因饥乱，降南部者岁数千人，仅章和元年（87），即有屈兰储等五十八部，二十八万口来降。南匈奴和鲜卑、丁零等在汉王朝支持下，进袭北匈奴，也常有虏获。北匈奴的力量日益削弱。章和二年（88），章帝死，和帝继位年幼，窦太后临朝听政。南匈奴单于屯屠何上书窦太后称：据北匈奴新降渠帅报告，北单于兄弟争立，部众离散，“宜及北虏分争，出兵讨伐，破北成南，并为一国，令汉家长无北念”。和帝永元元年（89），东汉政府以耿秉为征西将军，与车骑将军窦宪率领骑兵八千，与度辽营及南单于骑兵共三万人，从朔方出兵，分三路，出击匈奴，与北单于大战于稽落山（今蒙古人民共和国西南），北匈奴败逃。汉军追击，斩名王以下一万三千级，获牲口、马牛羊百余万头，北匈奴官兵陆续归降者，前后八十一部二十余万人。窦宪、耿秉出塞三千余里，登燕然山（今蒙古人民共和国杭爱山），命中护军著名史学家班固撰写一篇铭文，刻石记功，宣称这次远征是上为高祖、文帝报仇雪耻，宣扬祖宗神灵，下为安国保嗣，开拓疆土，发展大汉声威。
古代出游图
第二年，南匈奴单于屯屠何再次上书请求消灭北匈奴，于是派左谷蠡王师子等率领骑兵八千人，在汉军军官将护下，远征北匈奴，乘夜围攻。北单于受创伤后率数十名轻骑兵逃脱，其阏氏及家属五人均被俘获，斩北匈奴官兵八千人，俘虏数千口而还。
永元三年（91），窦宪派左校尉耿夔、司马任尚出居延塞（今内蒙古额济纳旗），大破北匈奴于金微山（今阿尔泰山），俘获北单于母阏氏，斩名王以下五千余级，“北单于逃走，不知所在”。汉军出塞五千余里而还，是北征匈奴行程最远的一次。经过这次打击，北单于率余众退出漠北，西走康居（在前苏联乌兹别克一带），其后又入欧洲，汉朝边郡不再受匈奴的骚扰。