单于让卫律治理国事。张胜得知，恐怕虞常泄露私话，于是把经过的情形告诉了苏武。苏武说：“事已如此，必然牵连到我。受到侮辱后死。更加辜负了汉国！”
苏武想自杀，被胜和惠一起制止。虞常果然供出了张胜。单于发怒，召诸贵人议论此事，想杀汉朝的使者。左伊秩訾说：“现在这些人想谋杀卫律，你就打算把汉朝的使臣杀掉；假如他们谋杀单于，则你将用什么更重的处罚呢？最好的处理办法是让他们投降。”
单于指使卫律把苏武召来受审讯。苏武对惠等人说：“我以汉朝使臣的身份而在匈奴受审，那简直是屈辱了国家的使命，即便不死，又有什么脸面回归汉朝！”随即拿出佩刀自杀。
卫律大惊，抱住苏武，马上招呼医生救治。医生在地面掘了一个坑，在坑中燃起了煴火，然后把苏武面朝下，覆置于坑上；医生轻轻敲打苏武的背，使其出血。过了好半天苏武才醒过来。
惠等人哭泣，一起回营。单于为苏武的节操所感动，派人朝夕问候苏武，而收拾张胜。
苏武逐渐痊愈。单于派人通知苏武前来共同判定虞常的罪名，打算审讯虞常时威胁苏武投降。把虞常剑斩后，卫律说：“汉使张胜，谋杀单于的近臣，应判死刑。但是单于现在招降你们，只要投降就可宽恕你们的死罪。”
卫律举起剑来刚要击杀，张胜请降。卫律对苏武说：“同谋者应当同罪。”苏武说：“我原本没有参与预谋，又不是亲属，为什么同罪？”卫律准备举剑杀武，苏武不动声色。
卫律说：“苏君！我之前从汉朝回归（匈奴），庆幸得到大恩，赐我称王；拥有人众数万，马畜满山：如此的富贵！苏君今日如果投降，明日也会这样。白白地把身体供给草地做了肥料，又有谁知道呢！”
苏武不答应。卫律又说：“你因为我而投降，与你做兄弟。今日如果不听我的话，日后想再见我，还会得到（那些恩赐）吗？”
苏武骂卫律道：“你为人臣子，不顾恩义，叛主背亲，投降于蛮夷（指匈奴），要见你干什么！单于相信你，让你决定别人的生死；你不平心持正，反而想让两个君主相斗，坐观祸败！
“南越王（相吕嘉）杀汉使，后被征讨的汉军杀死，在南越设立了九个郡（县）；大宛国王毋寡杀汉使，后被汉将李广利把他的头悬挂在汉朝的宫阙之下；
“朝鲜杀汉使者，即时被诛灭（实为讨平）；只有匈奴还没有被消灭！你明知我不会投降，却偏来逼我，这无非是想让汉和匈奴互相用兵罢了。
“匈奴在不久的将来如果遭到败亡之祸，那一定是由杀死我（苏武）而招致的。”
卫律知道苏武是始终不会投降的，便告知单于。单于更加想让苏武投降，把苏武囚禁在一个大窖（用来储藏米粟的地穴）里，苏武绝食。
天下雨雪，苏武卧在地上吃雪，与毡毛一起咽下去，数日都没有死。匈奴以为他是神，在北海（今贝加尔湖）一带，除苏武外，渺无人烟；
匈奴命令苏武在北海放牧一群羊，要公羊生产了小羊才准他回国。把苏武带去的随行人员，常惠等各自分隔开来，置于其他的地方。
苏武在北海上，食物供应不到，就挖野鼠、找野草的果实当食物。柱着代表汉廷的节杖去牧羊。卧起操持，寒来暑往，节杖上的旄都掉光了。
这样过了五、六年，单于之弟于靬王到北海射猎，苏武能结鱼网、纺缴丝、矫正弓弩，所以他就为于靬王修补猎具，以供其渔猎之用。于靬王很喜爱，给苏武衣、食。
三年多，于靬王病了，赐给苏武马畜、盛酒酪的器皿、大型的园顶帐篷。于靬王死后，随从都迁走了；冬天，丁灵（匈奴的别种）偷走了苏武的牛羊，就又回复穷困。