وكان من أسب الناس لعلي بن أبي طالب (رض)، فمر بالمدينة والحسن بن علي جالس، فقيل له: هذا معاوية ابن خديج الساب لعلي، فقال: علي بالرجل، فأتاه، فقال له الحسن: أنت معاوية ابن خديج، قال: نعم، قال: أنت الساب لعلي فكأنه استحيى، فقال له الحسن أما والله لئن وردت عليه الحوض وما أراك ترده لتجدنه مشمر الإزار على ساق يذود عنه رايات المنافقين ذود غريبة الإبل قول الصادق المصدوق وقد خاب من افترى.
ومنهم العلامة القندوزي في (ينابيع المودة) (ص 132 ط اسلامبول) قال:
وفي جواهر العقدين أخرج الطبراني عن أبي كثير، قال: كنت جالسا عند الحسن بن علي رضي الله عنهما جاء رجل، فقال له: إن معاوية بن خديج يسب أباك عند ابن أبي سفيان فقال له: إن رأيته من بعد أرنيه، فرآه يوما، فأراه ذلك الرجل فقال الحسن رضي الله عنه لابن خديج: أنت تسب أبي عند ابن آكل الأكباد فذكر الحديث بعين ما تقدم عن (نظم درر السمطين) إلا أنه ذكر بدل قوله يذود المنافقين عن حوضي: يذود عنه رايات المنافقين ذود غريبة.