卫律知道苏武不可胁迫，报告了单于。单于越发想使他投降，就囚禁苏武，置于大地窖内，不给他吃喝。天下雪，苏武卧著嚼雪，同毡毛一起吞下，几日不死。匈奴以为他是神人，就将苏武迁至北海，让他放公羊，说等公羊生小羊才可归汉。同时把他的部下常惠等人安置到别的地方。

牧羊北海
　　苏武到了北海，没有供应粮食，只能掘野鼠所储藏的果实吃。苏武拄著汉节牧羊，起居都拿着，以致节上毛全部脱落。过了五、六年，单于的弟弟于靬王到北海打猎。苏武会编打猎的网，矫正弓弩，于靬王器重他，供给他衣服、食物。三年多过后，于靬王大病，赐苏武马匹、牲畜、服匿、穹庐。于靬王死后，他的部下也都迁离。冬天，丁灵人盗走了苏武的牛羊，苏武又再度穷困。

　　苏武在汉朝时，与李陵都担任侍中的官职。武帝天汉二年（前99年），李陵投降匈奴，不敢访求苏武。后单于派李陵去北海，为苏武设酒宴和歌舞。李陵对苏武说：“单于听说我和子卿你交情深厚，所以让我来劝说你，他真心你能成为匈奴的臣子。你到死也不能归汉，白白在没有人的地方让自己受苦，即使坚守信义又有谁能看见呢？先前长君（苏嘉的字）做奉车都尉，随从圣驾至雍的棫阳宫，皇帝扶辇下除，撞到柱子折断车辕，被指控为大不敬，伏剑自刎，皇帝赐钱二百万作为丧葬费。孺卿（苏贤的字）随从圣驾祠河东后土，宦骑与黄门驸马争船，把驸马推到河里淹死了。宦骑逃亡，皇帝下诏让孺卿追捕，没抓到，孺卿惶恐服毒自杀。我来的时候，你的母亲已不幸去世，我送葬至阳陵。你的妻子年少，听说已经改嫁了。只有两个妹妹，两个女儿一个儿子，重你离家至今已经十几年了，是不是还活着也不知道。人生如朝露一般短，为什么要让自己受这么久的苦呢！我刚投降的时候，也痛苦的像发疯一样，恨自己背叛了汉朝，加上老母被收留在保宫里。你不想投降的心情，难道比得过我当初？况且陛下年龄大了，法令无常，大臣们没有犯罪就被灭族的有数十家，连自身安全都无法保证，你还顾得上别人么？请听从我的建议，不要再说别的了。”苏武说：“我们苏家父子没有什么功劳，都是因为陛下才能位列将帅，获爵封侯，兄弟为近臣，我一直都想肝脑涂地来报答他的恩情。现在能够杀身报恩，即使是上刀山下油锅，也觉得快乐。臣子事奉君主，就如同儿子事奉父亲。儿子为父亲而死没有什么遗憾的。希望你不要再说了。” 李陵与苏武共饮了几天，又说：“你就听从我的话吧！”苏武说：“我早就已经死了！右校王（李陵在匈奴的爵位）如果一定要让我投降，就请请停下今日的欢宴，我直接死在你面前！”李陵见苏武如此真诚，喟然长叹道：“真是义士啊！我和卫律的罪过上通于天！”说著流下眼泪浸湿了衣襟，决别苏武而去。