الكترى الدواب إلى العراق ليخرج صبيحة الغد، قال أبو عبيد، فرأيت النبي صلى الله عليه وسلم في رؤياي وهو جالس على فراشه وعلى رأسه قوم يحجبونه، والناس يدخلون إليه ويسلمون عليه ويصافحونه، قال:
فلما دنون لادخل مع النس منعت، فقلت لهم: لم لا تخلون بيني وبين رسول الله صلى الله عليه وسلم؟ فقالوا: أي والله! لا تدخل إليه ولا تسلم عليه وأنت خارج غدا إلى العراق، فقلت لهم: إني لا أخرج إذا، فأخذوا عهدي ثم خلوا بيني وبين رسول الله صلى الله عليه وسلم، فدخلت وسلمت وصافحت، فلما أصبح فاسخ كريه وسكن مكة حتى مات بها في المحرم سنة أربع وعشرين ومائتين ودفن في دور جعفر.
وعاش ثلاثا وسبعين سنة، وقال الخطيب في تاريخ بغداد 12 / 416 / بلغني أنه بلغ سبعا وستين سنة. وقال عبد الله بن طاهر في مرثيته 1:
يا طالب العلم قد مات ابن سلام * وكان فارس علم غير محجام كان الذي كان فيكم ربع أربعة * لم نلق مثلهم إستار أحكام وفى تاريخ بغداد 12 / 407 " أول من سمع هذا الكتاب من أبى عبيد يحيى بن معين وعرض هذا الكتاب على أحمد بن حنبل فاستحسنه وقال: جزاه الله خيرا، وكتب أحمد كتاب غريب الحديث الذي ألفه أبو عبيد أولا ".
والنسخ التي بين أيدينا تدل على أنها رويت عن علي بن عبد العزيز البغوي (المتوفى سنة 287 ه‍) صاحب أبى عبيد.