خراسان بعد ولاية الفضل فقال الرشيد لجعفر أين كانت هذه أيام أخيك قال في منازل أربابها وبلغ الرشيد أن يهوديا ينجم بحكم في عمره ويقرب وقتا فأحضره وسأله عما قال فقال استدللت من النجوم بكذا وكذا ودخل جعفر فرأى غم الرشيد فقال له أتحب أن يخرج هذا من صدرك قال نعم قال سله عن عمره فإنه بالمعرفة به أولى به من غيره قال فسأله عن ذلك فقال هو كذا وكذا فقال جعفر اضرب الآن عنقه لتعلم خطأه في عمرك وعمره فيحكى ان الرشيد تغير عليه في آخر الأمر وكان سبب ذلك أن الرشيد كان لا يصبر عن جعفر وعن أخته عباسة بنت المهدي وكان يحضرهما إذا جلس للشرب فقال لجعفر أزوجكما ليحل لك النظر إليها ولا تقربها فإني لا أطيق الصبر عنكما فأجابه إلى ذلك فزوجها منه وكانا يحضران معه ثم يقوم عنهما وهما شابان فجامعها جعفر فحملت منه فولدت له غلاما فخاف الرشيد فسير به مع حواضن إلى مكة وأعطته الجواهر والنفقات ثم إن عباسة وقع بينهما وبين بعض جواريها شر فأنهت أمرها إلى الرشيد فحج هارون سنة 186 وبحث عن الأمر فعلمه وكان جعفر يصنع للرشيد طعاما بعسفان إذا حج فصنع ذلك الطعام ودعاه فلم يحضر عنده وكان ذلك أول تغير أمرهم وقيل كان سبب ذلك من أمره ما كان وقيل من الأسباب أن جعفرا بنى دارا غرم عليها عشرين ألف درهم فرفع ذلك إلى الرشيد وقيل هذه غرامة في دار فما ظنك بنفقاته وصلاته وغير ذلك فاستعظمه وحكي أن جعفر بن يحيى لما عزم على الانتقال إلى قصره هذا جمع المنجمين لاختيار وقت ينتقل فيه اليه فاختاروا له وقتا من الليل فلما حضر الوقت خرج على حمار من الموضع الذي كان منزله إلى قصره والطرق خالية والناس هادئون فلما صار إلى سوق يحيى رأى رجلا قائما وهو يقول (يدبر بالنجوم وليس يدري * ورب النجم يفعل ما يريد) فاستوحش ووقف ودعا بالرجل فقال له أعد علي ما قلت فأعاده فقال