و استعفى وانزوى بالقرافة. وكان مسند مصر بعد الحبال. وقال الفقيه أبو بكر بن العربي: شيخ معتزل في القرافة، له علو في الرواية، وعنده فوائد. وقد حدث عنه: أبو عبد الله الحميدي، وكنى عنه بالقرافي. وقال غيره: كان يبيع الخلق لملوك مصر. قال ابن الأنماطي: سمعت أبا صادق عبد الحق بن هبه الله القضاعي المحدث بمصر: سمعت العالم الزاهد أبا الحسن علي بن إبراهيم ابن بنت أبي سعد يقول: كان القاضي أبو الحسن الخلعي يكم بين الجن، وانهم أبطأوا عليه قدر جمعة، ثم أتو وقالوا: كان في بيتك شيء من هذا الأترج، ونحن لا ندخل مكأنا يكون فيه. قال المحدث أبو الميمون عبد الواهب بن وردان، فيما حكى عن والده أبي الفضل، قال: حدثني بعض المشايخ، عن أبي الفضل الجوهري ابن الواعظ قال: كنت أتردد إلى الخلعي، فقمت في ليلة مقمرة ظننت أن الفجر قد طلع، فلما جئت بباب مسجده وجدت فرسا حسنة على بابه، فصعدت، فوجدت بين يديه شأبا لم أر أحسن منه، يقرأ القرآن، فجلست أسمع، إلى أن قرأ جزءا، ثم قان للشيخ: آجرك الله. فقال له: نفعك الله. ثم نزل، فنزلت خلفه من علو المسجد، فلما استوى على الفرس طارت به، فغي علي من الرعب، والقاضي يصيح بي: اصعد يا أبا الفضل. فصعدت، فقال: هذا من مؤمني الجن الذين آمنوا بنصيبين، وإنه يأتي في الأسبوع مرة يقرأ جزا ويمضي. قال ابن الأنماطي: قبر الخلعي بالقرافة، يعرف بقبر قاضي الجن و الإنس، و يعرف بإجابة الدعاء عنده.