وقد أرسله معاوية مع النعمان بن بشير - وكانا عنده في الشام - إلى علي عليه السلام يسألانه أن يدفع قتلة عثمان إلى معاوية ليقيدهم بعثمان، وقد أراد معاوية بهذا أن يرجعا من عند علي إلى الشام وهما لمعاوية عاذران ولعلي لائمان، علما من معاوية أن عليا لا يدفع قتلة عثمان إليه، فأراد أن يكون النعمان وأبو هريرة شاهدين له عند أهل الشام بذلك، وان يظهرا للناس عذر معاوية في قتال علي.
فقال لهما ائتيا علي فانشدناه الله لما دفع إلينا قتلة عثمان، فإنه قد آواهم، ثم لا حرب بيننا وبينه، فان أبى فكونوا شهداء الله عليه، واقبلا على الناس فأعلماهم بذلك. فأتينا عليا فدخلا عليه، فقال له أبو هريرة: يا أبا الحسن ان الله قد جعل لك في الاسلام فضلا وشرفا، فأنت ابن عم محمد رسول الله صلى الله عليه وآله وقد بعثنا إليك ابن عمك يسألك أمرا تسكن به هذه الحرب، ويصلح الله به ذات البين ان تدفع إليه قتلة ابن عمه عثمان فيقتلهم به ويجمع الله تعالى امرك وأمره ويصلح بينكم وتسلم هذه الأمة من الفتنة والفرقة، ثم تكلم النعمان بنحو من هذا فقال لهما: دعا الكلام في هذا، حدثني عنك يا نعمان، هل أنت أهدى قومك سبيلا؟ - يعني الأنصار - قال: لا. قال فكل قومك قد اتبعني الا شذاذ منهم ثلاثة أو أربعة أفتكون أنت من الشذاذ؟ قال النعمان: أصلحك الله انما جئت لأكون معك وألزمك، وقد كان معاوية سألني ان أؤدي هذا الكلام. ورجوت ان لي موقف اجتمع فيه معك. وطمعت ان يجري الله تعالى بينكما صلحا فإذا كان رأيك غير ذلك فانا ملازمك وكائن معك.
قال حفظة الآثار: أما أبو هريرة فلم يكلمه أمير المؤمنين فانصرف إلى الشام فأخبر معاوية بالخبر فأمره معاوية ان يعلم الناس ففعل ذلك وعمل أعمالا ترضى معاوية.
وأقام النعمان بعده عند علي ثم خرج فارا إلى الشام فأخبر أهلها بما لقي