孔子回到卫国,卫灵公亲来迎接,并安排孔子住在宾舍。南子坚持只要孔子不来拜见,就不得重用他,孔子也为是否去拜见南子而苦恼。孔子击磬于卫,有荷蒉而经过者,发出“深则厉,浅则揭”的议论。南子听到乐声苦闷,遂决定请孔子来访。孔子应邀,南子说自己可以帮助孔子出仕,以为自己正名,孔子拒绝了她。仲由因孔子见南子而生气,孔子发出“天厌之”的毒誓。南子叫卫灵公只是把孔子闲养起来,以备咨询便可,不予重用。卫灵公出游与南子同车,孔子不愿与南子共乘,只得坐童仆之车,并发出“吾未见好德如好色者”的感叹。公元前493年,卫灵公之子蒯聩叛乱,孔子发现卫灵公对自己所言毫无兴趣,决定离开卫国,临走前说道:“唯女子与小人难养也,近之则不逊,远之则怨。”