بمعجمه، ونصر بن أحمد بن الخليل المرجي، وأبو الشيخ، وخلق كثير.
قال يزيد بن محمد الأزدي في " تاريخ الموصل ": ومنهم أبو يعلى التميمي. فذكر نسبه وكبار شيوخه، وقال: كان من أهل الصدق والأمانة، والدين والحلم، روي عن غسان بن الربيع، ومعلى بن مهدي، وغيرهما من المواصلة. إلى أن قال: وهو كثير الحديث، صنف المسند وكتبا في الزهد، والرقائق، وخرج الفوائد، وكان عاقلا، حليما صبورا، حسن الأدب، سمعته يقول: سمعت ابن قدامة: سمعت سفيان يقول: ما تمتع متمتع بمثل ذكر الله، قال داود عليه السلام: ما أحلى ذكر الله في أفواه المتعبدين.
وحدثنا أبو يعلى: حدثنا ابن زنجويه: سمعت عبد الرزاق يقول:
الرافضي عندي كافر.
وقد بلغنا عن أبي عمرو بن حمدان: أنه كان يفضل أبا يعلى الموصلي على الحسن بن سفيان، فقيل له: كيف تفضله و " مسند " الحسن أكبر، وشيوخه أعلى؟ قال: لان أبا يعلى كان يحدث احتسابا، والحسن بن سفيان كان يحدث اكتسابا.
وقد وثق أبا يعلى أبو حاتم البستي وغيره، قال ابن حبان: هو من المتقنين المواظبين على رعاية الدين وأسباب الطاعة.
وقال ابن عدي: ما سمعت " مسندا " على الوجه إلا " مسند " أبي يعلى، لأنه كان يحدث لله عز وجل.
قال ابن المقرئ: سمعت أبا إسحاق بن حمزة يثني على " مسند " أبي يعلى ويقول: من كتبه قل ما يفوته من الحديث.