وقال محمد بن جرير الطبري: خرج يحيى حاجا وكان أكولا. فحدثني أبو العباس أحمد بن شاه أنه كان في الرفقة التي فيها يحيى بن معين. فلما صاروا بفيد أهدي إلى يحيى بن معين فالوذج ولم ينضج، فقلنا: يا أبا زكريا لا تأكله، فإنا نخافه) عليك. فلم يعبأ بكلامنا وأكله. فلما استقر في معدته حتى شكا وجع بطنه، واستطلق بطنه، إلى أن وصلنا إلى المدينة و لا نهوض به. وتفاوضنا في أمره، ولم يكن لنا سبيل إلى المقام عليه لأجل الحج. ولم ندر ما نعمل في أمره. فعزم بعضنا على القيام عليه وترك الحج. وبتنا ليلتنا فلم نصبح حتى مضى ومات، فغسلناه ودفناه. وقال مهيب بن سليم البخاري: ثنا محمد بن يوسف البخاري قال: كنا في الحج مع يحيى بن معين، فدخلنا المدينة ليلة الجمعة، ومات من ليلته. فلما أصبحنا تسامع الناس بقدوم يحيى وبموته، فاجتمع العامة، وجاءت بنو هاشم فقالوا: نخرج له الأعواد التي غسل عليها رسول الله صلى الله عليه وسلم. فكره العامة ذلك، وكثر الكلام. فقالت بنو هاشم: نحن أولى بالنبي صلى الله عليه وسلم منكم، وهو أهل أن يغسل عليها.
ودفن يوم الجمعة في ذي القعدة سنة ثلاث وثلاثين. قال مهيب بن سليم: وفيها ولدت. قال عباس الدوري: مات قبل أن يحج، وصلى عليه والي المدينة. وكلم الحزامي الوالي، فأخرجوا له سرير النبي صلى الله عليه وسلم، فحمل عليه. وقال أحمد بن خيثمة: مات لسبع بقين من ذي القعدة سنة ثلاث وثلاثين. وقد استوفى خمسا وسبعين سنة ودخل في الست. ودفن بالبقيع.