卫少儿却是个不怎么聪明的女人，或者说，她早就被养废了，在外头有外人恭维奉承，在家里，陈掌虽说是陈平的后代，但是到了他这里，爵位也没了，家产也不算很多，就因为跟卫少儿私通了一阵子，就攀上了蒸蒸日上的卫家，在刘彻的示意下娶了卫少儿之后，对卫少儿也是百依百顺。这般一来，卫少儿还能变成什么样子呢？傲慢自大，自以为是就是她的标签！见到霍去病愈发出息了，一听说想要让霍去病跟卫家绑得更紧，就跑到霍去病那里指手画脚。
霍去病是什么性子，他如果对卫青的感情有十分的话，那么对卫少儿大概也就是两三分，比陌生人强不了多少，甚至，没几个陌生人敢帮他做主，甚至到了他这个地位，只要他不愿意，那么刘彻都别想逼他做什么事情。
因此，等到刘彻再次提起自己的婚事的时候，霍去病继续用当初的理由打发了刘彻，刘彻也知道了卫家的那些糟心事，便也没有再多说什么，反过来还赏赐了霍去病不少美貌的宫女，霍去病这倒是没有拒绝。
霍去病只觉在朝中比在战场上还累，回到自个的冠军侯府，霍去病就放松了下来，然后就看到了霍光。对于这个弟弟，霍去病一开始并没有什么感情，将他带在身边，无非也是一中利益上的交换，他要霍仲孺没事别来打扰自己，而自己不可能光耀霍家的门楣，霍家想要更进一步，只能依靠霍光，而他会给霍光这个机会。因此，将霍光带回来之后，霍去病也就是延请明师教导霍光，至于对这个弟弟有什么感情上的交流，那是真的很少。
霍光的性子跟霍去病完全不同，霍去病是典型的少年意气。卫青因为少年时期为奴的经历，一向谨言慎行，性子也属于那中温厚老成的，而霍去病记事之后，卫家就已经不同往日了，虽说并没有得到父母的关爱，但是先是卫青对他如同亲子一般，然后刘彻觉得他天份非常，那时候宫中并无皇子公主出生，因此，霍去病在宫中得到的待遇几乎跟皇子相当，所以，霍去病是个张扬肆意的性情，加上少年得志，可以说几乎是肆无忌惮，要不然也不能因为卫青受辱，直接当着许多人的面射杀了李敢。
而霍光年纪虽然很小，却已经是个老成持重的性子，看起来更像是卫青，跟霍去病几乎没什么相似的地方。当然，对于霍去病这个兄长，霍光是非常敬佩的，毕竟，即便霍光并不懂兵法，对于匈奴的了解也仅限于资料，但是匈奴人当年能将大汉逼到多少年都不敢谈战事，宁可不断和亲来维持两国之间的关系，可见匈奴的可怕之处。而这样的匈奴，却被霍去病几次踏破山阙，狼狈奔逃。
但是相应的，面对这样比偶像还偶像的兄长，霍光又很难生出兄弟之间的亲密来，因此，对霍去病，他的态度一向是恭敬有余，亲密不足。霍去病对于这个做什么事都一板一眼，似乎都用尺规量好了一样的弟弟，也难以亲近，因为这位看起来简直就像是御史大夫衙门里头那些御史，似乎随时都打算给你挑刺。因此，在跟霍光进行了非常公式化的问答之后，霍去病就说道：“时候不早了，你也回去休息！”
霍光也是恭恭敬敬行礼，然后就退下了，等到霍光的身影消失在自己面前，霍去病忍不出松了口气，心里头暗自抱怨，早知道这个弟弟是这副德性，还不如将更小的那个带回来呢！
霍去病虽说性子肆意，但是并不是什么傻瓜，实际上他是个非常敏感的性情，这次回来之后，针对舅父卫青的封赏一直悬而未决，霍去病就意识到，天子对舅父产生了一些微妙的抗拒之心。毕竟，卫青已经是封无可封，若是这一次直接踏破了匈奴王庭，让匈奴成为了历史，那么，以后卫青就可以老老实实在长安荣养，不需要再上战场，那么，刘彻可以干脆利索地将作为武将的最高荣誉都赏赐下来。问题是，现在匈奴还有喘息的余地，十年生聚、十年生息，甚至都不用这样，他们收拢一下草原上的残部，吞并其他的部族，很快又能拉起一支足以对抗大汉的军队来，到时候卫青再上阵，又该如何封赏呢？
比起对卫青，刘彻对霍去病就干脆多了，增加食邑，提升官职，加上各中赏赐，但是，霍去病本能地觉得卫青跟自己是一体的，所以，他难免为卫青觉得担忧。而刘彻正是因为这个缘故，想要让霍去病跟卫家分割开来，所以，他比任何人都厌恶卫家想要要卫子夫所出的公主乃至卫氏女跟霍去病捆绑起来的行为。既然霍去病自个对此也很抗拒，那么，刘彻对此可以说是乐见其成，干脆就顺水推舟。