وكان له أربع زوجات يقسم لهن، ولا يخلو مع ذلك من سرية. وكان يكثر أكل الديوك الكبار تشترى له وتسمن، فقال بعض الطلبة: ما أظن أبا عبد الرحمن إلا أنه يشرب النبيذ للنضرة التي في وجهه.
وقال آخرون: ليت شعرنا، ما يقول في إتيان النساء في أدبارهن فسئل فقال: النبيذ حرام، ولا يصح في الدبر شيء، ولكن حدث محمد بن كعب القرظي، عن ابن عباس قال: إسق حرثك من حيث شئت. فلا ينبغي أن يتجاوز قوله هذا الفصل.
سمعه الوزير ابن حنزابة، من محمد بن موسى المأموني صاحب النسائي.
وفيه: فسمعت قوما ينكرون عليه كتاب الخصائص لعلي رضي الله عنه وتركه تصنيف فصائل الشيخين. فذكرت له ذلك فقال: دخلت إلى دمشق والمنحرف عن علي بها كثير، فصنفت كتاب الخصائص رجاء أن يهديهم الله.
ثم صنف بعد ذلك فضائل الصحابة، فقيل له وأنا أسمع: ألا تخرج فضائل معاوية.
فقال: أي شيء أخرج اللهم لا تشبع بطنه