حكى هارون النحوي قال: كنا نختلف إلى أبي علي بجامع الزهراء، فأخذني المطر، فدخلت وثيابي مبتلة، وحوله أعلام أهل قرطبة، فقال لي: مهلا يا أبا نصر هذا هين وتبدله بثياب آخر، فلقد عرض لي ما أبقى بجسمي ندوبا. كنت أختلف إلى ابن مجاهد فأدلجت، فلما انتهيت إلى الدرب رأيته مغلقا فقلت: أبكر هذا البكور وتفوتني النوبة، فنظرت إلى سرب هناك فاقتحمته، فلما أن توسطته ضاق بي، ونشبت فاقتحمته أشد اقتحام، فنجوت بعد أن تخرقت ثيابي وتزلع جليد حتى انكشف العظم، فأين أنت مما عرض لي.
ثم أنشد:
* ثبت للمجد والساعون قد بلغوا * جهد النفوس وألقوا دونه الأزرا * * فكابدوا المجد حتى مل أكثرهم * وعانق المجد من أوفى ومن صبرا * * لا تحسب المجد تمرا أنت آكله * لن تبلغ المجد حتى تلعق الصبرا * قال: ودخل الأندلس في سنة ثلاثين، فقصد صاحبها عبد الرحمن الناصر لدين الله فأكرمه، وصنف لولده الحكم تصانيف، وبث علومه هناك، وكان قد بحث على ابن درستويه الفارسي كتاب سيبويه، ودقق النظر وانتصر للبصريين، وأملي أشياء من حفظه ككتاب النوادر وكتاب الأمالي الذي اشتهر اسمه، وكتاب المقصور والممدود، وله كتاب الإبل وكتاب الخيل، وله كتاب البارع في اللغة نحو خمسة آلاف ورقة، لم يؤلف أحد مثله في الإحاطة والجمع لكن لم يتممه. وولاؤه لعبد الملك بن مروان ولهذا قصد بني أمية ملوك الأندلس، فعظم عندهم وكانت مؤلفاته على غاية الاتقان.
أخذ عنه: عبد الله بن الربيع التميمي، وهو آخر من حدث عنه، وأحمد بن أبان بن سيد، وأبو بكر محمد بن الحسن الزبيدي اللغوي، وغيرهم.