هذا شأنه إلى أن استفحل أمر علي بك وأخرجه منفيا إلى الحجاز وذلك في أوائل شهر القعدة 1178 فأقام بالحجاز اثنتي عشرة سنة فلما سافر يوسف بك أميرا بالحاج في السنة الماضية صمم على احضاره صحبته إلى مصر فأحضره في تختروان وذلك في سابع شهر صفر سنة 1190 وقد استولى عليه العي والهرم وكرب الغربة فدخل إلى بيته مريضا فأقام أحد عشر يوما ومات فغسلوه وكفنوه وخرجوا بجنازته في مشهد حافل حضره العلماء والامراء والتجار ومؤذنو المساجد وأولاد المكاتب التي أنشأها ورتب لهم فيها الكساوي والمعاليم في كل سنة وصلوا عليه بالأزهر ودفن بمدفنه الذي أعده لنفسه بالأزهر عند الباب القبلي ولم يخلف بعده مثله رحمه الله ومن مساويه قبول الرشا والتحيل على مصادرة بعض الأغنياء في أموالهم واقتدى به في ذلك غيره حتى صارت سنة مقررة وطريقة مسلوكة ليست منكرة وكذلك المصالحة على تركات الأغنياء التي لها وارث ومن سيآته العظيمة التي طار شررها وتضاعف ضررها وعم الإقليم خرابها وتعدى إلى جميع الدنيا هبابها معاضدته لعلي بك ليقوى به على أرباب الرئاسة فلم يزل يلقي بينهم الفتن ويغرى بعضهم على بعض ويسلط عليهم علي بك المذكور حتى أضعف شوكات الأقوياء وأكد العداوة بين الأصفياء واشتد ساعد علي بك فعند ذلك التفت اليه وكلب بنابه عليه واخرجه من مصر وأبعده عن وطنه فلم يجد عند ذلك من يدافع عنه وأقام هذه المدة في مكة غريبا وحيدا وأخرج أيضا في اليوم الذي أخرجه فيه نيفا وعشرين أميرا من الاختيارية كما تقدم فعند ذلك خلا لعلي بك وخشداشينه الجو فماضوا وأفرخوا وامتد شرهم إلى الآن الذي نحن فيه كما سيتلى عليك بعضه فهو الذي كان السبب بتقدير الله تعالى في ظهور أمرهم فلو لم يكن له من المساوىء الا هذه لكفاه ولما رجع من الحجاز متمرضا ذهب اليه إبراهيم بك ومراد بك وباقي خشداشينهم