في أربعمائة من مزينة ثم سكن البصرة وتحول عنها إلى الكوفة فوجهه سعد إلى تستر فصالح أهل زندورد وقدم المدينة بفتح القادسية وورد حينئذ على عمر اجتماع أهل أصبهان وهمذان والري وأذربيجان ونهاوند فأقلقه ذلك وشاور أصحاب النبي صلى الله عليه وسلم فقال له علي بن أبي طالب ابعث إلى أهل الكوفة فيسير ثلثاهم ويبقى ثلثهم على ذراريهم وابعث إلى أهل البصرة قال فمن استعمل عليهم أشر علي فقال أنت أفضلنا رأيا وأعلمنا فقال لأستعملن عليهم رجلا يكون لها فخرج إلى المسجد فوجد النعمان بن مقرن يصلي فيه فسرحه وأمره وكتب إلى أهل الكوفة بذلك وقد روي أنه كتب إلى النعمان بن مقرن يستعمله ليسير بثلثي أهل الكوفة وأهل البصرة وقال إن قتل النعمان فحذيفة وإن قتل حذيفة فجرير فخرج النعمان ومعه حذيفة والزبير والمغيرة بن شعبة والأشعث بن قيس وعبد الله بن عمر كلهم تحت رايته وهو أمير الجيش ففتح الله عليه أصبهان فلما أتى نهاوند قال النعمان يا معشر المسلمين شهدت رسول الله صلى الله عليه وسلم إذا لم يقاتل أول النهار أخر القتال حتى تزول الشمس وتهب الرياح وينزل النصر اللهم ارزق النعمان شهادة بنصر المسلمين وافتح عليهم فأمن المسلمون وقال لهم إني أهز اللواء ثلاث مرات فإذا هززت الثالثة فاحملوا ولا يلوي أحد على أحد وإن قتل النعمان فلا يلوى عليه أحد فلما هز اللواء الثالثة حمل وحمل معه الناس فكان أول صريع وأخذ الراية حذيفة ففتح الله عليهم وكانت وقعة نهاوند سنة إحدى وعشرين وكان قتل النعمان بن مقرن يوم جمعة ولما جاء نعيه عمر بن الخطاب خرج فنعاه إلى الناس على المنبر ووضع يده على رأسه يبكي