ارجاع ذرية الرسول (ص) إلى مدينة جدهم لم يكن ما جرى في عاصمة أمية بعد وصول سبايا آل الرسول إليها في صالح حكم آل أمية فرأى يزيد أن يرجعهم إلى مدينة جدهم مع نعمان بن بشير. كما قال الطبري وغيره واللفظ للطبري:
قال يزيد بن معاوية: يا نعمان بن بشير جهزهم بما يصلحهم وابعث معهم رجلا من أهل الشام أمينا صالحا وابعث معه خيلا وأعوانا فيسير بهم إلى المدينة ثم أمر بالنسوة أن ينزلن في دار على حدة معهن ما يصلحهن وأخوهن معهن علي بن الحسين في الدار التي هن فيها، قال: فخرجن حتى دخلن دار يزيد فلم تبق من آل معاوية امرأة الا استقبلتهن تبكي وتنوح على الحسين فأقاموا عليه المناحة ثلاثا.
قال: فدعا ذات يوم عمرو بن الحسن بن علي وهو غلام صغير فقال لعمرو بن الحسن: أتقاتل هذا الفتى يعني خالدا ابنه. قال: لا ولكن اعطني سكينا واعطه سكينا ثم أقاتله فقام له يزيد: وأخذه فضمه إليه ثم قال: شنشنة أعرفها من أخزم، هل تلد الحية الا حية، قال: ولما أرادوا أن يخرجوا أوصى بهم ذلك الرسول. قال: فخرج بهم وكان يسايرهم بالليل فيكونون أمامه حيث لا يفوتون طرفه فإذا نزلوا تنحى عنهم وتفرق هو وأصحابه حولهم كهيئة الحرس لهم وينزل منهم بحيث إذا أراد إنسان منهم وضوءا أو قضاء حاجة لم يحتشم فلم يزل ينازلهم في الطريق هكذا ويسألهم عن حوائجهم ويلطفهم.