عليها ثلث عشرة سنة واستقام أمره إلى أن وقع بينه وبين علي بن متويه زاهد البلد.: وولي بعده القضاء الوليد ابن أبي داود.
قال أبو عبد الله بن خفيف: قال ابن أبي عاصم صحبت أبا تراب فكان يقول كم تشقى لا يجئ منك إلا قاضي. وكان بعدما دخل في القضاء إذا سئل عن الصوفية يقول القضاء والدنية والكلام في علم الصوفية محال.
سبب عزله عن القضاء: - قال الذهبي في السير (1): قال أبو الشيخ: كثرت الشهود في أيامه واستقام أمره إلى أن وقع بينه وبين علي بن متويه وكان صديقه طول أيامه، فاتفق أنه صار إلى ابن متويه قوم من المرابطين، فشكوا إليه خراب الرباطات وتأخر الأجراء عنهم فاحتد على متويه فذكر ابن أبي عاصم حتى قال إنه لا يحسن يقوم سورة " الحمد " فبلغ الخبر ابن أبي عاصم فتغافل عنه إلى أن حضر الشهود عنده فاستدرجهم وقرأ عليهم سورة " الحمد " فقومها ثم ذكر ما فيها من التفسير والمعاني ثم أقبل عليهم فقال هل ارتضيتم؟ قالوا: بلى. قال: فمن زعم أني لا أحسن تقويم سورة " الحمد " فكيف هو عندكم؟ قالوا: كذاب، ولم يعرفوا قصده، فحجر ابن أبي عاصم على علي ابن متويه لهذا السبب. فماج الناس واجتمعوا على باب أبي ليلى يعني الحارث بن عبد العزيز وكان خليفة أخيه عمر بن عبد العزيز على البلد، وذلك سنة إحدى وثمانين ومائتين فأكرهه أبو ليلى على فسخه ففسخه ثم ضعف بصره، فورد صرفه.