وأول سماعه سنة 294. وكان يشتغل بالصياغة، فنصحه بعض العلماء وأشار عليه بالعلم، قال: خرجت إلى هراة سنة خمس وتسعين، وحضرت أبا خليفة وهو يهدد وكيلا له يقول: تعود يا لكع. فقال: لا أصلحك الله. فقال: با أنت لا أصلحك الله. قم عني. قال الحاكم: وكنت أرى أبا علي معجبا بأبي يعلى الموصلي، وإتقانه. قال: لا يخفى عليه من حديثه إلا اليسير، ولولا اشتغاله بسماع كتب أبي يوسف بن بشر بن الوليد لأدرك بالبصرة أبا الوليد وسليمان بن حرب.
قال الحاكم: كان أبو علي باقعة في الحفظ، لا تطاق مذاكرته ولا يفي بمذاكرته أحد من حفاظنا.
خرج إلى بغداد سنة عشر ثانيا، وقد صنف وجمع، فأقام ببغداد وما بها أحد أحفظ منه. وسمعت) أبا علي يقول: كتب عني أبو محمد بن صاع غير حديث في المذاكرة، وكتب عني ابن جوصا جملة. قلت: وروى عنه: أبو بكر أحمد بن إسحاق الصبغي، وأبو الوليد الفقيه وهما أكبر منه وابن مندة، والحاكم، وابن محمش، والسلمي، والمشايخ. وقال أبو بكر بن أبي دارم الحافظ: ما رأيت ابن عقدة يتواضع لأحد من الحفاظ كتواضعه لأبي علي النيسابوري. وقال الحاكم: سمعت أبا علي يقول: اجتمعت ببغداد مع أبي أحمد العسال، وإبراهيم بن حمزة، وأبي طالب بن نصر، وأبي بكر الجعابي فقالوا: أمل