孔子说“惟女子与小人为难养也，近之则不逊，远之则怨”，将女人与小人相提并论。

最近，武汉大学教授陈文新在“国学班”上课时，对孔子为何发出如此感叹，推测出两种原因：一是孔子可能在谈恋爱的过程中受过挫折；一是孔子婚后家庭生活不太美满。

孔子谈恋爱过程中是否受过挫折，不得而知，如果真有其事，不知道是不是与长得不帅有关。高安侠在《另眼看孔子》一文中提到，孔子是一个“白眼仁多，黑眼仁少。鼻孔外翻，牙齿缝大。脑袋四周高中间低，活像个倒扣的痰盂，而且个头也不高”的人。长成这等形状，谈恋爱时遭女性拒绝取笑，落下心理阴影也不是不可能。

不过，孔子的婚姻生活不太美满却是真真切切的——孔子是个离过婚的男人。孔子那个时代不叫离婚，叫“出妻”，也就是后来说的休妻。关于“出妻”，古代礼书中有“七出”的规定，即妻子在七个方面（无子；淫佚；不事父母；多言；盗窃；妒嫉；恶疾）的任何一个方面“有问题”，丈夫都可据此宣告解除婚姻。孔子出妻是有据可考的。《礼记》记载：“门人问诸子思曰，‘昔者子先君子丧出母乎？’”子思是孔子的孙子，这里是门人问子思：“从前你的父亲为被休出的母亲穿孝服守丧礼吗？”宋代大儒朱熹对此有注解：“伯鱼之母出而死。”伯鱼是孔子的儿子，这段史料证明孔子确实离过婚。