والأصح في نهج البلاغة: إنه توفى بالكوفة بعد رجوعه من صفين مع على سنة 38 ه‍.
ومر على الإصابة: أنه استخلفه على (ع) على البصرة بعد الجمل ثم شهد معه صفين.
وفي كتاب الغارات: إنه لما عزل على (ع) قيس ابن سعد عن (ولاية) مصر وولاها محمد بن أبى بكر، خرج هو وسهل بن حنيف (من المدينة) حتى قدما على على (ع) بالكوفة فخبره قيس الخبر وما كان بمصر، وشهد مع على (ع) صفين هو وسهل بن حنيف.
روى نصر بن مزاحم في كتاب صفين: أنه لما أراد أمير المؤمنين (ع) المسير إلى صفين دعا إليه من كان معه من المهاجرين والأنصار فاستشارهم، فقال الأنصار بعضهم لبعض: ليقم رجل منكم فليجب أمير المؤمنين (ع) عن جماعتكم. فقالوا: قم يا سهل بن حنيف. فقام سهل فحمد الله وأثنى عليه، ثم قال: يا أمير المؤمنين، نحن سلم لمن سالمت، وحرب لمن حاربت، ورأينا رأيك، ونحن كف يمينك، وقد رأينا أن تقوم بهذا الأمر في أهل الكوفة