وأبوه هو أبو أحمد، من أصحاب محمد بن يحيى الذهلي، حدث بكتاب " جلود السباع " في خمسة أجزاء، تأليف مسلم عنه، وهو كتاب نفيس بالمرة. وتوفي عام خمسة عشر وثلاث مئة. وهو بيت العلم والرواية والحفظ والدراية.
ولد أبو علي في سنة ثمان وتسعين ومئتين.
وسمع من جده أحمد بن محمد الماسرجسي (1)، وإمام الأئمة أبي بكر ابن خزيمة، وأبي العباس السراج، وأبي حامد ابن الشرقي، ووالده محمد ابن أحمد. وارتحل في سنة إحدى وعشرين، فأخذ عن أبي بكر بن زياد النيسابوري. وابني المحاملي، وخلق بالعراق. ولحق بالشام بقايا أصحاب هشام بن عمار، وبمصر أصحاب يونس بن عبد الأعلى والمزني. وكتب العالي والنازل (2)، وأطال المكث بمصر، وكتب الفقه والحديث بها، وخرج على الصحيحين مستخرجا حافلا، وعمل " المسند الكبير " في نحو من وقر (3) بعير.
فقال أبو عبد الله الحاكم في " تاريخه ": صنف " المسند الكبير " في ألف جزء وثلاث مئة جزء - يعني مهذبا معللا - قال: وجمع حديث الزهري جمعا لم يسبقه إليه أحد، فكان يحفظه مثل الماء، وصنف المغازي والقبائل والمشايخ والأبواب، وخرج على " صحيح البخاري " كتابا، وعلى " صحيح مسلم " وأدركته المنية قبل الحاجة إلى إسناده، ودفن علم كثير بموته. وقد سمعته يقول: سمعت أبي يقول: سمعت مسلم بن الحجاج