وأمره باثبات اسمه بين يديه فأبيت فانصرف الأنصاري من عنده في جمع كثير حتى أتى منزله فقال له ابن أبي عنبسة في عزل ابن سوار وولاية الأنصاري:
((شعر لابن عنبسة في عزل سوار)) * أتانا عن البصرة المخبرون * بما سر ذا النعل والحافيا * * بعزل ابن سارق عبد النبي * وصار ابن خادمة قاضيا * * فلا رضى الله عن كل من * لحاليهما لم يكن راضيا * * فقد سكن الناس واستوسقوا * وأصبح أمرهم هاديا * * فكم للأمير من المسلمين والمسلمات بها داعيا * * بأن يعلى الله كعب الأمير * ولا يزال لنا واليا * ((القضاء في عهد المبيضة)) فكان الأنصاري قاضيا إلى أن ظهرت المبيضة في سنة تسع وتسعين ومائة فلزم الأنصاري بيته والقائم على البصرة يومئذ من قبل المبيضة العباس بن محمد بن عيسى بن محمد بن علي بن عبد الله بن جعفر فأكره عبيد الله بن محمد بن حفص ابن عائشة وأخرجه إلى المسجد الجامع فصلى ركعتين في مجلس القاضي ثم انصرف على أن يعود فاختفى ولم يعد ولم يحكم على البصرة حاكم حتى انقضى أمر المبيضة فعاد الأنصاري يحكم بينهم وكان في عمله الأول أحمد منه في العمل الثاني غلب عليه ابنه وموليان له وعدة من أعوانه فقال أبو الأحوص العنبري يهجوه:
* قل لأبي ريشة يا ذا الذي * أصبح في الأحكام جوارا * * لو كنت ذا علم بأحكامنا * أشبهت في الأحكام سوارا *