可能还有人对卫家不满，认为卫青只是运气比较好，英勇善战而已。谁处在卫青的角色，上有皇帝姐夫的信任，内有汉朝积累了五十多年的物资储备，都能建立一番功业。这样的观点把卫青这个人物看得太简单了。卫青绝对不是一个只知军事、不懂权谋的人。
在霍去病崭露头角的那次征战中，右将军苏建和前将军赵信的主力部队被匈奴大军打得死伤惨重。赵信本来就是匈奴的降将，战败后投降了匈奴；苏建杀出重围，只身一人逃回来向卫青请罪。面对惨败，有人要求追究苏建的责任，认为他“弃军而逃”；有人建议将苏建斩首示众，严肃军纪；也有人认为苏建尽力后才战败的，不应斩首。如果把苏建杀了，不就是逼着战败的将领有家不敢回，反过去投降匈奴吗？大家争来争去，需要卫青拍板定夺。卫青有权力处斩部将，但他没有杀苏建。杀苏建的坏处很明白，会寒一部分将士的心，而且容易给人专横的感觉，得罪一批人。但是苏建的确对战败负有责任，于是卫青把苏建用囚车送回长安，交由刘彻处理。结果，刘彻非常满意卫青有权不专权的举动，同时赦免了苏建的死罪，让苏家用钱给苏建赎罪。苏建虽然被贬为平民百姓，但对卫青感激不尽。
