衛律知道蘇武終究不可脅迫投降，報告了單于。單于越發想要使他投降，就把蘇武囚禁起來，放在大地窖里面，不給他喝的吃的。天下雪，蘇武臥著嚼雪，同氈毛一起吞下充饑，幾日不死。匈奴以為神奇，就把蘇武遷移到北海邊沒有人的地方，讓他放牧公羊，說等到公羊生了小羊才得歸漢。同時把他的部下及其隨從人員常惠等分別安置到別的地方。 蘇武遷移到北海后，糧食運不到，只能掘取野鼠所儲藏的野生果實來吃。他拄著漢廷的符節牧羊，睡覺、起來都拿著，以致系在節上的牦牛尾毛全部脫盡。