فلما عاد يعقوب إلى سجستان صحبه رافع وكان طويل اللحية كريه الوجه قليل الطلاقة، فدخل يوما على يعقوب فلما خرج من عنده قال أنا لا أميل إلى هذا الرجل فليلحق بما شاء من البلاد؛ فقيل له ذلك ففارقه وعاد إلى منزله بتامين وهي من باذغيس وأقام به إلى أن استقدمه الخجستاني على ما ذكرناه وجعله صاحب جيشه.
فلما قتل الخجستاني اجتمع الجيش عليه وهو بهراة فأمروه كما ذكرنا وصار رافع من هراة إلى نيسابور وكان أبو طلحة بن شركب قد وردها من جرجان فحصره فيها رافع وقطع الميرة عنه وعن نيسابور فاشتد الغلاء بها ففارقها أبو طلحة ودخلها رافع فأقام بها وذلك سنة تسع وستين ومائتين، فسار أبو طلحة إلى مرو وولى محمد بن مهتدى هراة وخطب لمحمد بن طاهر بمرو وهراة فقصده عمرو بن الليث فحاربه فهزمه واستخلف عمرو بمرو محمد بن سهل بن هاشم وعاد عنها، وخرج شركب إلى بيكند واستعان بإسماعيل بن أحمد الساماني فأمده بعسكره فعاد إلى مرو فأخرج عنها محمد بن سهل وأغار على أهل البلد وخطب لعمرو بن الليث وذلك في شعبان سنة إحدى وسبعين [ومائتين].
وقلد الموفق تلك السنة أعمال خراسان محمد بن طاهر وكان ببغداد فاستخلف محمد على أعماله رافع بن هرثمة ما خلا ما وراء النهر فإنه أقر عليه نصر بن أحمد، ووردت كتب الموفق إلى خراسان بذلك وبعزل عمرو بن الليث ولعنه، فسار رافع إلى هراة وبها محمد بن مهتدي خليفة أبي طلحة شركب فقتله يوسف بن معبد وأقام بهراة، فلما وافاه رافع استأمن إليه يوسف فأمنه وعفا عنه، فاستعمل على هراة مهدي بن محسن،