فقيل كان طاهر بن عبد الله يود أن يأتيه أبو عبيد ليسمع منه كتاب غريب الحديث في منزله، فلم يفعل إجلالا لحديث رسول الله صلى الله عليه وسلم، فكان هو يأتي إليه، وقدم علي بن المديني وعباس العنبري فأرادا أن يسمعنا غريب الحديث، فكان يحمل كل يوم كتابه ويأتيهما في منزلهما فيحدثهما فيه إجلالا لعلمهما، وهذه شيمة شريفة، رحم الله أبا عبيد!
وذكر الخطيب في تاريخ بغداد 12 / 407 عن جعفر بن محمد بن علي ابن المديني قال: سمعت أبي يقول: خرج أبى إلى أحمد بن حنبل يعوده وأنا معه، قال: فدخل أبو عبيد القاسم بن سلام فقال له يحيى بن معين:
اقرأ علينا كتابك الذي عملته للمأمون في غريب الحديث، فقال: هاتوه، فجاؤوا بالكتاب فأخذه أبو عبيد فجعل يبدء يقرأ الأسانيد ويدع تفسير الغريب، قال فقال له أبى: يا أبا عبيد! دعنا من الأسانيد نحن أحذق بها منك، فقال يحيى بن معين لعلي بن المديني: دعه يقرأ على الوجه فان ابنك محمدا معك، ونحن نحتاج إلى أن نسمعه على الوجه، فقال أبو عبيد: ما قرأته إلا على المأمون فان أحببتم أن تقرؤه فاقرؤه، قال فقال له علي بن المديني: إن قرأته علينا أولى وإلا فلا حاجة لنا فيه - ولم يعرف أبو عبيد علي بن المديني - فقال ليحيى بن معين: من هذا؟ فقال: هذا علي بن المديني، فالتزمه وقرأه علينا، فمن حضر ذلك المجلس جاز أن يقول " حدثنا " وغير ذلك فلا يقول.
وفاته روى أن أبا عبيد قدم مكة حاجا، فلما قضى حجه وأراد الانصراف