وكان الجراح كتب إلى عمر إني قدمت خراسان فوجدت قوما قد أبطرتهم الفتنة فهم منبثون فيها فأحب الأمور إليهم أن يعودوا ليمنعوا حق الله عليهم فليس يكفهم إلا السيف والسوط فكرهت الإقدام على ذلك إلا بإذنك فكتب إليه عمر يا ابن أم الجراح أنت احرص على الفتنة منهم لا تضرب مؤمنا ولا معاهدا سوطا إلا في الحق واحذر القصاص فإنك صائر إلى من يعلم خائنة الأعين وما تخفي الصدور وتقرأ كتابا: (لا يغادر صغيرة ولا كبيرة إلا أحصاها).
فلما قدم الجراح على عمر وقدم أبو مجلز قال له عمر أخبرني عن عبد الرحمن بن عبد الله فقال يكافئ الأكفاء ويعادي الأعداء وهو أمير يفعل ما يشاء ويقدم إن وجد من يساعده قال فعبد الرحمن بن نعيم قال يحب العافية والتأني قال هو أحب إلي فولاه الصلاة والحرب وولى عبد الرحمن القشيري الخراج وكتب إلى أهل خراسان إني استعملت عبد الرحمن على حربكم وعبد الرحمن [بن عبد الله] خراجكم وكتب إليهما يأمرهما بالمعروف والإحسان.
فلم يزل عبد الرحمن بن نعيم على خراسان حتى مات عمر وبعد ذلك حتى قتل يزيد بن المهلب ووجه مسلمة بن عبد العزيز الحرث بن الحكم فكانت ولايته أكثر من سنة ونصف.