مالك وابن المبارك ينهيان عنه وتركه يحيى القطان وابن مهدي وغيرهما وقال يحيى ابن سعيد القطان لم نترك إبراهيم بن أبي يحيى للقدر وإنما تركناه للكذب وقال يحيى بن معين كان كذابا رافضيا قدريا قال أبو حاتم بن حبان حدثنا محمد بن سليمان بن فارس [حدثنا أحمد بن سعيد الدارمي حدثنا محمد بن سليمان بن فراس قال جاء رشد بن سعد إلى إبراهيم بن أبي يحيى ومعه كتاب في كسائه فقال لإبراهيم هذه كتبك وحديثك أرويها عنك قال نعم قال بلغني أنك رجل سوء فاتق الله وتب إليه قال فإن كنت رجل سوء فلأي شئ تأخذ عني الحديث قال ألم يبلغك أنه يذهب العلم وتبقى منه بقايا في أوعية سوء فأنت من أوعية السوء