لما ولي يزيد بن عاتكة قبضها منهم فصارت في أيدي بني مروان كما كانت، يتداولونها حتى انتقلت الخلافة عنهم، فلما ولي أبو العباس السفاح ردها على عبد الله بن الحسن بن الحسن ثم قبضها أبو جعفر لما حدث من بني حسن ما حدث، ثم ردها المهدى ابنه على ولد فاطمة (ع) ثم قبضها موسى بن المهدي وهارون اخوه، فلم تزل في أيديهم حتى ولي المأمون فردها على الفاطميين.
قال أبو بكر حدثني محمد بن زكريا، قال حدثني مهدي بن سابق قال جلس المأمون للمظالم فأول رقعة وقعت في يده نظر فيها وبكى وقال للذي على رأسه، ناد أين وكيل فاطمة فقام شيخ عليه دراعة وعمامة وخف ثغرى فتقدم فجعل يناظره في فدك والمأمون يحتج عليه وهو يحتج على المأمون، ثم أمر أن يسجل لهم بها فكتب السجل وقرئ عليه فانفذه فقام دعبل إلى المأمون فأنشد الأبيات التي أولها:
أصبح وجه الزمان قد ضحكا * برد مأمون هاشم فدكا 1 وتفصيل الكتاب ورد في فتوح البلدان قال: ولما كانت سنة عشر ومأتين أمر أمير المؤمنين المأمون عبد الله بن هارون الرشيد، فدفعها إلى ولد فاطمة وكتب بذلك إلى قثم بن جعفر عامله على المدينة.
" اما بعد فان أمير المؤمنين بمكانه من دين الله وخلافة رسول الله (ص)