第二年春天，大将军卫青从定襄出兵。合骑侯公孙敖做中将军，太仆公孙贺为左将军，翕侯赵信为前将军，卫尉苏建做右将军，郎中令李广做后将军，左内史李沮做强弩将军。他们都隶属大将军，斩杀敌人几千人而回。一个多月后，他们又全都从定襄出兵攻打匈奴，杀敌一万多人。右将军苏建、前将军赵信的军队合为一军，共三千多骑兵，独遇匈奴单于的军队，同他们交战一天多的时间，汉军将要全军被歼。前将军赵信原本是匈奴人，投降汉朝被封为翕侯，如今看到军情危急，匈奴人又引诱他，于是他率领剩余的大约八百骑兵，跑到单于那儿投降。右将军苏建把他的军队全部损失了，独自一人逃回，自己来到大将军卫青那里。大将军卫青就苏建的罪过向军正闳、长史安和议郎周霸等征询意见，说：“怎样定苏建的罪过？”周霸说道：“自从大将军出征，不曾杀过副将。如今苏建弃军而回，可以杀苏建以表明大将军的威严。”闳和安都说：“不能这样。兵法书上说‘两军交锋，军队少的一方既使坚决拚搏，也要被军队多的一方打败’。如今苏建率几千军队抵御单于的几万军队，奋力战斗了一天多的时间，战士全部牺牲，仍然不敢有背叛汉朝的心意，自己归来。自己归来而被杀死，这是告诉战士今后若要失败且不可返回汉朝。不应当杀苏建。”大将军卫青说：“卫青我侥幸以皇帝亲戚的身分在军队中当官，不忧虑没有威严，而周霸劝我树立个人的威严，大失做人臣的旨意。况且假使我的职权允许我斩杀有罪的将军，但是凭我尊宠的地位不敢在国境外擅自诛杀，而把情况向天子详细报告，让天子自己裁决，由此表现出做臣子的不敢专权，不也是可以的吗？”军中官吏们都说：“好！”于是就把苏建关押起来，送往皇帝的行在所。卫青领兵进入边塞，停止了对匈奴的征伐。
这一年（前123），大将军卫青姐姐的儿子霍去病十八岁，受到武帝宠爱，当了皇帝的侍中。霍去病善于骑马射箭，两次随从大将军出征，大将军奉皇上之命，拨给他一些壮勇的战士，任命他为剽姚校尉。他同八百名轻捷勇敢的骑兵，径直抛开大军几百里，寻找有利的机会攻杀敌人，结果他们所斩杀的敌兵数量超过了他们的损失。于是皇上说：“剽姚校尉霍去病杀敌二千零二十八人，其中包括匈奴相国和当户，杀死单于祖父一辈的籍若侯产，活捉单于叔父罗姑比，他的功劳，在全军两次数第一，划定一千六百户封霍去病为冠军侯。上谷太守郝贤四次随大将军出征，斩获敌军二千余名，划定一千一百户封郝贤为众利侯。”这一年，损失了两位将军的军队，翕侯赵信逃亡，军功不多，所以大将军卫青没有增封。右将军苏建回来后，天子没有杀他，赦免了他的罪过，交了赎金，成为平民百姓。
