在贰师将军李广利兵败的次年（前89），匈奴自以为大胜汉朝，于是遣使者给汉朝带来一封狂妄无比、充满威胁的信，信中表示，单于想要娶汉朝女人为妻，要求刘彻每年给匈奴入贡，要是不从他们就侵扰汉边。
当时汉朝已经决定了不再征伐，所以刘彻没有暴跳如雷发兵攻打，而是派了去匈奴的使者。刘彻如此克制，可能是真的希望与匈奴和亲。
然而，使者去匈奴后遭到了诘难，单于故意安排人挖苦汉使：“我久闻汉朝是个礼仪之邦，可贰师将军出征前太子竟然造反了，儿子和父亲为敌，这是为何？”
外交使者都是能说会道的，面对诘问，汉使很快就镇定下来：“是有这么回事。不过那是丞相私下里和太子争斗，太子发兵是想诛灭丞相而非谋反。丞相诬陷太子，所以后来也被诛了。我们太子动兵，乃子弄父兵，不过是一点儿小错。嘿嘿，哪比得上匈奴的冒顿单于，杀父自立，还娶后母为妻，其行为与禽兽无异啊！”
双方互相揭丑，最后是汉使更胜一筹，单于恼羞成怒，将汉使扣留，三年之后才把他们放回。
两国较量到这个程度，虽然还相互敌视，但都发动不了战争了，他们的争斗，更多的是打打嘴仗，顶多有时在边境小打小闹一番。刘彻驾崩之前，汉朝虽然在和匈奴的作战中吃了亏，可总体上来说，刘彻对匈作战几十年来，把匈奴打得够惨，匈奴国中大部分人都是希望和亲的。
狐鹿姑单于也想和亲，所以在刘弗陵继位之初，霍光、上官桀借此机会，派了三位使者去匈奴，迎接一个人。
迎接的人，不是苏武，是李陵，因为李陵在汉朝时，和霍光、上官桀的关系不错。他们派出的使者，都是李陵在老家陇西的故人，其中领头的叫任立政。
任立政等人去了后，得到了单于的热情招待，单于还让卫律和李陵作陪。
当时，有卫律在旁，任立政没办法和李陵单独说话，坐下后只好打暗语：他一只手摸着自己佩刀上面的圆环，一手捏着自己的脚，意思是只要李陵愿意，就可以还家。
也许李陵没看懂任立政的暗语，又或许李陵装作没有看懂，那次见面，李陵什么也没有回应。
之后李陵和卫律又单独摆酒招待任立政等人。宴会上，任立政见二人皆身着匈奴服饰，头发呈锥结状，全身上下均是胡人打扮，当即给二人介绍汉朝形势，道：“汉已大赦天下了，如今海内富足，百姓安定，陛下年少，由霍子孟（即霍光）和上官少叔（即上官桀）执政。”
这话再明显不过了：刘彻已经驾崩，如今是你的朋友当政，国内安定，你回去不用担心什么的。
李陵听懂了任立政的意思，只是于李陵而言，祖国递来的橄榄枝虽然诱人，却似乎有些晚了。他看了任立政良久，深呼了一口气，摸着自己那已经扎成锥形的头发，对任立政咧嘴笑了笑：“你看，我已经穿上胡服啦！”（吾已胡服矣！）
任立政摇摇头，不再说话。过了一会儿，卫律起身去上厕所，只留下李陵和任立政等汉使。任立政抓住机会靠近李陵，说道：“嘿，李少卿受苦了（李陵字少卿），霍子孟和上官少叔都托我问候你哦！”（咄，少卿良苦！霍子孟、上官少叔谢女。）
李陵听到故人这么亲切的问候，一种久违的感觉浮上心头，不禁想起当年和霍光、上官桀等人在汉朝的日子，他颤着声音问道：“他们还好吗？”
任立政见到李陵的反应，也非常激动，压低了声音笑着道：“我是专门来接你回家的，你回去后根本不用担心富贵的问题。”
李陵听到这话，眼睛不禁湿润，可是他一辈子也不能停止去想象家人被诛之时的惨状，于是他摇了摇头道：“少公（任立政，字少公），我现在回家是很容易，可我担心回去后再次受辱，我不知道该怎么办啊！”
李陵尚未言毕，就看到归席的卫律，只好住口。可卫律已经听到他们的谈话，有些生气，随即昂然道：“李少卿是个贤能的人，不必独居于一个国家。昔日范蠡曾遍游天下，由余也是离开戎狄后到的秦国，君子并非一定要独居一国。你们谈话，没必要如此亲密吧！”
卫律说完，就宣布结束宴会，带着李陵起身离去。
任立政已经勾起了李陵归国的欲望，生怕卫律的话把李陵拉回去，他什么也不顾了，追上李陵问道：“李少卿，你到底有没有归家意愿呢？”
李陵摇摇头道：“我是个男子汉大丈夫，总不能多次受辱啊！”（大丈夫不能再辱。）说完转身离去，再不回头。
汉昭帝二年（始元二年，前85），狐鹿姑单于去世，其子壶衍鞮单于继位，老单于的去世，让双方一度热衷的和亲之事也暂时停顿。之后的几年，由于匈奴贵族之间的权力斗争，导致国内不团结，国力下降，匈奴才又开始与汉朝商量和亲的事情。
在交涉的过程中，汉朝提出要求：和亲可以，但匈奴得归还扣押在匈奴的汉使，如苏武等人。
可匈奴不想归还，尤其是苏武。
但为了不显得太没有和亲诚意，他们说苏武死了。
苏武去匈奴快20年，一代人的时间了，新使者一听，也就相信，不再提及此事，之后就回国了。毕竟，因为纠缠一个已经死了的人而影响到和亲大局，就得不偿失了。
就这样，苏武“死了”，苏武归国的机会没了。
但之后事情又有了转机，因为汉匈打算和亲而匈奴撒谎的事情被常惠知道了。常惠，就是十多年前和苏武一同出使后被扣匈奴的人，常惠和苏武一样，始终没有投降。苏武北海牧羊的故事，应该在匈奴还有些名气，所以常惠和苏武虽然分别多年，但常惠知道苏武所在的地方，也知道苏武没死。当他听说汉匈之间要和亲了，立即意识到这是个千载难逢的归国机会。
常惠自从听说了和亲之事，就一直留意着汉使的情况。当下一次汉使到来之际，常惠费了九牛二虎之力，终于说动了看守他的匈奴人，让他在夜里见到了汉使。
常惠把事情的原委全都交代出来。
可尽管如此，事情还是很难办。因为，就算常惠说苏武还在，但单于非要说苏武已死，汉使能怎么办呢？
你不能斥责单于撒谎，因为你并无苏武活着的铁证，你也从来没见过苏武，倘若逼迫单于太甚，单于还可能让苏武真的死掉。就算你说苏武在北海牧羊，你也不可能找到苏武。而你让单于交出苏武，单于就会指责你没有诚意，逼自己交出一个死人。
不过常惠早就想好了对策。他让汉使在单于面前谎称皇帝在上林苑打猎时射到一只大雁，大雁腿上绑有一封帛书，帛书上明确说了苏武此刻在匈奴的某个地方。
汉使本来还一筹莫展，听了常惠的话，立即振奋。再次和单于交涉时，就说汉朝皇帝已经看过苏武写的帛书，你还是诚实点。
单于做梦也想不到苏武竟然能“飞鸽传书”，他做贼心虚，听了汉使之言便以为汉朝早就知道他的底细，大惊之下只好尴尬地道：“额……这个……苏武等人其实还在呢！”（武等实在。）
事已至此，苏武等人的归国之事才尘埃落定。
得知苏武终于修成正果，李陵也摆起酒席，送别苏武。
这是一场送别宴，李陵在为苏武高兴的同时，更多的是对命运的无奈。
在酒会上，李陵对苏武说：“子卿，你此番归去，必将扬名于匈奴，功显于汉室。即便史书所载、丹青所绘，又怎么比得上你的事迹啊！哎，我李陵……我李陵虽然无能怯懦，但最初投降时，一直想着倘若汉朝能宽恕我的罪过，不伤害我的母亲，就一定忍辱负重，努力做一番像曹沫做过的那种大事，那会儿我在匈奴的时候，日夜都心存此念。可是……可是汉朝逮捕并杀害了我的全家，这种惨绝人寰之事，是人世间最大的侮辱，汉朝待我如此，我还有什么可留恋的呢？算了，这些都已命中注定，我说这些，不过希望子卿明白我的心情。从此之后，我们就是异国之人，再也不会见面了！”
李陵最受不了的，就是汉朝屠杀了他的全家。在当年被单于围困的那场战争中，李陵不可谓不顽强，连刘彻自己后来都承认，李陵战败很大程度上是因为没有援兵。李陵曾诘问过汉使：“我李陵为了汉朝，率领五千步兵横行于匈奴，最后只因为没有援军才致落败，我到底在哪里有负于汉，以致被诛杀全家？”（吾为汉将五千步卒横行匈奴，以无救而败，何负于汉而诛吾家？）
对李陵而言，他身为男子汉大丈夫，在战场上浴血奋战，用五千步兵和十一万（或八万）匈奴骑兵对抗，不论胜败如何，他的成绩本身就已经让人骄傲了，朝廷明知道李陵的困境，却因为把精力放在给刘彻祝寿上，没及时派出援兵，这是汉朝对不起李陵的地方。
虽然汉朝的做法让人寒心，但李陵到匈奴之后仍然时刻想着如何来回报祖国。可是当李陵兴冲冲地想要为祖国做一番贡献的时候，他听到了自己全家被斩的噩耗，于是一切都化为乌有。李陵就像个小丑，为了那一片土地，拼死奋战，可那片土地似乎并不领情，认为祝寿庆典比他和他的士兵的生命重要。他费尽心思地想办法给它做贡献，到头来却被浇了个透心凉。经历了这些事，让李陵不得不去思考：那种国家，值得我为之效忠吗？
他已经失误过一回了，然而那一回失误，让他终生后悔。在匈奴的那段日子他没有死，绝不是因为他惧怕死，而是觉得可以在匈奴为祖国立功，可他等来的，却是家人惨遭屠戮的消息。倘若早知道会是这样，他也许早就自杀了，那样起码可以保全家人。他对汉朝有过期待，可汉朝用屠刀回应了他。现在让他回去，他怎么能保证自己的这个选择就是正确的呢？他是个和汉朝打过仗的人，他怎么能保证回去后不被秋后算账呢？当年，他做梦也想不到的悲剧都能发生在他身上，那么这一次，他怎敢再做一个冒险的选择呢？那是一个反复无常的国家，李陵不能理解它的逻辑，也预测不了它会在什么时候将自己毁灭。
李陵在汉朝没有多少可以留恋的人了，那边已经没有什么让他值得再做一次冒险。更重要的是，那是他的伤心之地，他的母亲、妻儿、兄弟姐妹，都死在那里，亲人被杀的惨状将永远成为他心头挥之不去的阴影。何况他已经失去过一次亲人了，倘若逃回汉朝，他在匈奴的妻儿很可能也要重蹈十多年前的覆辙，他不忍心。
那天，李陵说完后感慨万分，情不自禁地站起身来，拔剑起舞。那身着胡服的李陵，伴随着舞步唱道：“径万里兮渡沙幕，为君将兮奋匈奴。路穷绝兮矢刃摧，士众灭兮名已。老母已死，虽欲报恩将安归！”
一曲唱罢，李陵已痛哭不止。他哭的，是自己的命运，他经历的事情，每一步都朝着最坏的方向发展，终究使这个想要回家的男人，再也不能回去。
七年之后，汉昭帝十三年（元平元年，前74），李陵病死于匈奴。
那场宴会之后不久，苏武就启程回家了。他自然不会一个人回去，当年和他来匈奴的使者，一共有一百多人，一直坚持着没有投降的人也不止苏武一个，比如常惠。
他们于汉武帝四十一年（前100）离开汉朝，一直到汉昭帝六年（前81）春天才回到长安。当年有一百多个意气风发的壮年随苏武出国，然而回家时算上苏武也只剩十个人，大部分人在当年离开后就再也没有回来。回家的人也大都和苏武一样，须发尽白了，那正是：
少小离家老大回，乡音无改鬓毛衰。儿童相见不相识，笑问客从何处来。
19年前，苏武从刘彻手中接过使节，出去办事了。现在他终于办完了事情，可是回家后主人已经死了。不管他把那个任务完成得怎样，总要给刘彻汇报一下情况。
苏武的事迹，闻者莫不动容，朝廷知道苏武这些年不容易，所以允许他用太牢（牛羊猪三样具备）去祭拜刘彻。
之后，苏武被拜为典属国，赐钱二百万，田二顷，住宅一座。典，掌管的意思，典属国，即掌管属国，而属国就是归降的蛮夷，如浑邪王投降后就是汉的属国。典属国本来是二千石级别，然而朝廷为嘉奖苏武，打破惯例，将其级别升为中二千石。
与苏武一同归来的另外九人，他们出国时没有正式编制，所以得到的赏赐也远不如苏武。有六人年纪太大，告老还乡，每人被赐钱十万，并终身免除徭役。另外三人被拜为中郎（比六百石），赐帛二百匹。
受尽苦难而终不失节的苏武终于修成正果了，现在，他有了高级职位，丰厚的家产，举国称颂的名誉，他的好日子就要来了。
苏武的好日子的确来了，只是他的美好生活很快就宣告结束。
他没有多久就死了。
苏武是霍光与上官桀集团斗争的炮灰。
在那场政坛大地震中，上官桀等人是其中的头目，在他们之下，还有无数个不为人所知的小喽啰。在清洗燕盖之乱的参与人员时，苏武的儿子苏元被查出与上官安有奸谋。
不管你父亲是谁，不管你父亲多有节操，你参与了谋反，谁也不能饶你。
苏元最终是被杀了，那么苏武呢？那可是个要连坐的时代，苏元和苏武是至亲关系，而苏元犯的是最大逆不道的谋反罪！
五人集团在攻击霍光的时候，曾以苏武的例子来说明霍光用人存在问题，而那个燕王刘旦也数次称赞苏武，这些事情都让苏武跟着躺枪。
在那个法令严酷的时代，廷尉王平和少府徐仁只不过断案时放宽了一点儿都会被扣个纵容反贼的帽子，苏武的情况可比他们严重得多，杀掉这种人，也说得通。
可苏武一年前才从匈奴回来，国家刚对他进行了表彰，把他视为道德楷模，而事情过去不到一年就把他杀了，这影响也太坏了。所以当廷尉上书，要求依法将苏武下狱的时候，霍光把这封上奏压了下来，而只将苏武免官。
苏武被免了，但他还有东山再起的一天。只不过当苏武再一次回归朝廷，已是汉昭帝驾崩之后的事情了。
汉昭帝十三年（元平元年，前74），汉昭帝刘弗陵驾崩于未央宫，之后关于皇帝的人选，出现了很大问题，苏武正是在这一事件中站对了队伍，再被重用。