然而他才气高，心气也高，为人耿直不迂。
先帝晚年，欲封赏自己的岳父杨骏为临晋侯。裴葑于是上书说：“分封诸侯，是为了保卫王室，作王室的屏障。后妃，是为了料理祭祀，弘扬宫中教化。皇后之父始封便以临晋为侯名，临于晋室之上，这将是大乱的征兆！”
如此直言不讳，既不给先帝面子，又得罪了外戚杨家，没过多久，就被先帝找了个由头，罢官免职。杨家痛打落水狗，竟在他回乡后，罗织罪名，恶意构陷，害他差点被流放交趾。幸得裴秀极力保全，托人向杨家求情，这才免了官司。否则他现在可能还在蛮越吃瘴气呢。
裴葑被罢官后，他的妻、子又相继去世，成了真正的孤家寡人。裴秀就将他请入府里供奉，给孙辈做西席，既是对他的保护，也是惜才。
裴葑到了钜鹿郡公府后，虽不在朝野，但这些年著书立说，教出的学生裴崇、裴该又是京洛有名的大才子，与他来往的王戎之流皆是名士，这些年韬光养晦，不仅名声不减，反而更上了一层楼。
去年三杨被屠，裴頠有意请裴葑出山入仕，却被他婉言拒绝了。裴葑已年近半百，这些年他在钜鹿郡公府安心教书，闲时著书立说，很是自在，对仕途经济反而看淡了。
再说三杨虽倒了，可朝廷就干净了？他冷眼瞧着，天子痴傻，贾后当政，诸侯揽权，官场依然乌七八糟，让他出山淌这浑水，还不如继续窝在钜鹿郡公府里做他的西席呢。
裴葑是一个要么不做，要做必然达到极致的人。裴府的孙辈资质可谓良莠不齐，既有裴崇、裴该还有裴妡这样的天赋异禀者，又有裴憬这样天生愚顽的，还有裴妍这样既懵懂又通透的，可谓几种极端都有。
他自从受邀做了裴府的西席后，对裴府的每个孙辈都非常看重，在教学上也因材施教。
二房的几个孩子自小天资聪颖，裴葑对他们的要求就严苛些，自他们四岁拿《山海经》启蒙始，从儒家的“五经”、《尚书》《论语》《孟子》，到道家的“三玄”，再到各名家史书，包括并不局限于“春秋三传”《战国策》《太史公书》等，均有涉猎。第一代钜鹿郡公裴秀一直儒道兼修，裴葑受他影响，对裴府孙辈的教育也从这两派抓手。
对于痴愚的裴憬，裴葑也没有放松教导。裴憬愚笨，光《山海经》习字就学了四年，总算把日常用字囫囵记全了。之后，裴葑就拿《仪礼》来规范他的日常言行。在裴葑看来，裴憬就算内里痴傻，但若他待人接物礼仪周全，日常应答不出大错，只要裴家不败，他总能求得一世安稳。
事实证明，这样的教导很有效果。就拿上次裴憬拜见张司空来说，日常应对自然得体，一改张华对他的痴愚印象。
裴妍和裴妡姊妹俩入学后，裴葑对她们也寄予了厚望。他一向认为女子明智乃家学之始，一个德才兼备的妇人甚至可以影响家族上下三代的兴衰。尤其钜鹿郡公府的这两位女郎，自小颜色出众，若加以引导，则河东裴氏将来出母仪天下的“三太”也未可知。
因此，在对姊妹俩的教导上，裴葑甚至比对裴憬还要用心。平时课程以史学为主。在他看来，所谓诗词交际不过附庸风雅，女子一不用入仕二不用养望，比起这些虚名，还是知史明理最为要紧。
前一阵，裴頠想送女入东宫，族里最支持他的就数裴葑。裴葑一向看不上杨家和贾家。至少，他教出的女弟子，绝不会是杨后那种目光短浅的蠢妇，更不会是如今那位貌丑性妒，浪荡不堪的淫后！只是后来这事没成，反倒让琅琊王氏摘了桃子，老人家还感叹惋惜了很久。
今日，裴葑又迎来了一位新弟子——张茂。
钜鹿郡公府的几个孩子是他看着长大的，人品性情学问他都有底。然而这位张郎君如何，他却是没数的。
因此张茂坐下后，裴葑一语不发，先对着张茂眯眼打量了一阵。
张茂面上做恭敬状，却暗自挺直腰背，让夫子看个够。
所谓相由心生，时人品评人才，先从貌始，裴葑的做法，并不算失礼。
良久，裴葑抹着颊下美髯，点头道：“光风怀抱兮桃花色，江教风流兮气如云。郎君年龄虽幼，却有乳虎啸谷之横阔气度，是个佳儿。君当勉之！”
这样的第一印象不可谓不高，张茂立即起身作揖，恭而受之。
裴葑又问他：“郎君几岁进学？师从何人？喜读哪些君子文章？”
张茂不卑不亢，一一作答：
“学生五岁受庠序之教，随邑中书院山长、诸师进学。十岁随父入征西军司，受教于家严，亦曾承恩于扶风武王府进学。去岁随父受诏回京，耕读于家，蹉跎至今。”