واستنصر بهم على قتال السلطان وقتل المسلمين، وصار إلى مدينة سمرقند، فتحصن بها، فلم يزل هرثمة محاربا له حتى قتل خلق من أصحابه.
ثم استعان رافع بجيغويه الخرلخي، وكان جيغويه هذا قد أسلم على يد المهدي، فجعل يخادع هرثمة ويوهمه أنه معه، ومعونته وهواه لرافع، ثم أظهر المعصية، والخلع، فقوي أمر رافع بمكانه، وأحرق السواد بالنار، وتبرأ من أهله، ودعا لغير بني هاشم، وأخذ هرثمة بأكظامهم، حتى ضرع رافع إلى الأمان فآمنه، فخرج إليه بولده وأهل بيته وأمواله، وذلك في المحرم سنة 194، فكتب المأمون إلى محمد بالفتح، وأعلمهم ما كان من تدبيره واجتهاده، حتى فتح الله عليه.
فأفسد قوم قلب محمد على المأمون، وأوقعوا بينهما الشر، وكان الذي يحرضه علي بن عيسى بن ماهان، والفضل بن الربيع، وزينا له أن يبايع لابنه بولاية العهد من بعده، ويخلع المأمون، ففعل ذلك، وبايع لابنه موسى، وكان ذلك لثلاث خلون من شهر ربيع الآخر سنة 194، وجمع العهود التي كان كتبها الرشيد بينهما، فحرقها، وجرت الوحشة بينهما، وكتب محمد إلى المأمون يأمره بالقدوم عليه في جميع القواد، فكتب إليه يعلمه أنه لا سمع عليه في هذا ولا طاعة، فكتب إلى من بخراسان من القواد، فأجابوه بمثل ذلك، وقالوا: إنما يلزمنا لك الوفاء، إذا وفيت لأخيك، وأنت قد نقضت العهود، وأحدثت الاحداث، واستخففت بالايمان والمواثيق.
ووجه محمد إلى أم عيسى بنت موسى الهادي امرأة المأمون يطلب منها جوهرا كان عندها للمأمون، فمنعته، وقالت: ما عندي شئ أملكه، فوجه من هجم منزلها، فانتهب كل ما فيه، وأخذ ذلك الجوهر، فلما انتهى ذلك إلى المأمون جمع القواد الذين قبله، فقال لهم: قد علمتم ما كان أبي شرط علي وعلى محمد، وقد نكث ونقض العهود، وأوجد السبيل إلى خلعه بنكثه ونقضه وتعرضه لأموالي وأسبابي وأعمالي، وتحريقه الشروط والعهود التي عليه،