وروى له مسلم حديثا واحدا شاهدا متنه من دعي إلى عرس أو نحوه فليجب. وقال الدارقطني أهل الحديث يقولون في كنيته أبو يحمد بفتح الياء والصواب بضمها وقال حيوة سمعت بقية يقول لما قرأت على شعبة أحاديث بحير بن سعد قال لي يا أبا يحمد لو ما اسمع هذا منك نظرت وقال أبو داود سمعت أحمد يقول روى بقية عن عبيد الله بن عمر مناكير وقال الجوزجاني رحم الله بقية ما كان يبالي إذا وجد خرافة عمن يأخذ وإذ حدث عن الثقات فلا بأس به وقال حجاج بن الشاعر وسئل ابن عيينة عن حديث فقال أبو العجب أنا بقية بن الوليد أنا وقال ابن خزيمة لا احتج ببقية حدثني أحمد بن الحسن الترمذي سمعت أحمد بن حنبل يقول توهمت أن بقية لا يحدث المناكير إلا عن المجاهيل فإذا هو يحدث المناكير عن المشاهير فعلمت من أين أتى قلت أتى من التدليس.
وقال ابن حبان لم يسبر أبو عبد الله شأن بقية وإنما نظر إلى أحاديث موضوعة رويت عنه عن أقوام ثقات فأنكرها ولعمري أنه موضع الانكار وفي دون هذا ما يسقط عدالة الانسان ولقد دخلت حمص وأكبر همي شأن بقية فتتبعت أحاديثه وكتبت النسخ على الوجه وتتبعت ما لم أجد بعلو يعني بنزول فرأيته ثقة مأمونا ولكنه كان مدلسا دلس عن عبيد الله بن عمر ومالك وشعبة ما أخذه عن مثل المجاشع بن عمرو والسري بن عبد الحميد وعمر بن موسى الميتمي وأشباههم فروى عن أولئك الثقات الذين رآهم ما سمع من هؤلاء عنهم فكان يقول قال عبيد الله وقال مالك فحملوا عن بقية عن عبيد الله وعن بقية عن مالك وأسقط الواهي بينهما فالزق الوضع ببقية وتخلص الواضع من الوسط وامتحن بقية بتلاميذ له كان يسقطون الضعفاء من حديثه ويسوونه فالتزق ذلك كله به.
وأورد ابن حبان له عن ابن جريج عن عطاء عن ابن عباس أحاديث منها تربوا الكتاب. ومنها من أدمن على حاجبيه بالمشط عوفي من الوباء. ومنها إذا جامع أحدكم فلا ينظر إلى فرجها فإن ذلك يورث العمى. وقال هذه من نسخة موضوعة كتبناها يشبه أن يكون بقية سمعها من انسان ضعيف عن ابن جريج فدلس عنه فالتزق ذلك به وقال العقيلي صدوق اللهجة إلا أنه يأخذ عمن أقبل وأدبر فليس بشئ وقال أبو أحمد الحاكم ثقة في حديثه إذا حدث عن الثقات لا يعرف لكنه ربما روى عن أقوام مثل الأوزاعي