طلب الحديث إلى الحجاز، وبغداد، والكوفة، والبصرة، ورأى المعافى بن عمران، إلا أنه لم يسمع منه. وسمع عمر بن أيوب الموصلي، وزيد بن أبي الزرقاء، وقاسم بن يزيد الجرمي، وأبا مسعود الزجاج وسفيان بن عيينة، وأبا ضمرة أنس بن عياض، وعبد الله بن وهب، وعبد الله بن إدريس، ومحمد بن فضيل، وحفص بن غياث، ووكيعا، وأبا معاوية، وعبد الله بن نمير، وعبد الله بن داود الخريبي، وأبا عامر العقدي، وأبا عاصم الشيباني، وشبابة بن سوار، ويزيد بن هارون، وروح بن عبادة، ووهب بن جرير، وأحمد بن حنبل. وقدم بغداد بأخرة وحدث بها، فروى عنه من أهلها عبد الله بن محمد البغوي، ويحيى بن صاعد، وإسماعيل بن العباس الوراق، والقاضي المحاملي، ومحمد بن مخلد، ويوسف بن يعقول بن إسحاق بن البهلول، ومحمد بن جعفر المطيري، في آخرين.
وقال ابن أبي حاتم الرازي: كتبت عنه مع أبي وسئل أبي عنه فقال: صدوق.
حدثنا أبو عمر بن مهدي، حدثنا القاضي أبو عبد الله الحسين بن إسماعيل المحاملي، حدثنا علي بن حرب، حدثنا زيد بن أبي الزرقاء، عن ابن لهيعة عن ابن هبيرة عن أبي عبد الرحمن الحبلي عن أبي أيوب قال: أتى رسول الله صلى الله عليه وسلم بقصعة فيها بصل فقال: ((كلوا)) وأبى أن يأكل، وقال: ((إني لست مثلكم [إني أناجي من لا تناجون])).
أخبرنا البرقاني، أخبرنا أبو الحسن الدارقطني، حدثنا الحسن بن رشيق، حدثنا عبد الكريم بن أبي عبد الرحمن النسائي عن أبيه.
ثم أخبرني الصوري، أخبرنا الخصيب بن عبد الله قال: ناولني عبد الكريم - وكتب لي بخطه - قال: سمعت أبي يقول علي بن حرب موصلي صالح.
أخبرني الأزهري قال: سئل أبو الحسن الدارقطني عن علي بن حرب فقال: ثقة.
كتب إلي أبو الفرج محمد بن إدريس بن محمد الموصلي يذكر أن أبا منصور المظفر ابن محمد الطوسي حدثهم قال: حدثنا أبو زكريا يزيد بن محمد بن إياس الأزدي.