ولد سنة ثلاث، وقيل: سنة خمس وثمانين ومائة.
وهو ابن امرأة روح بن عبادة، فسمع نسيبه من خلق كثير.
وحدث عنه، وعن: أبي داود الطيالسي، وعبد الله بن داود الخريبي، وأزهر بن سعد السمان، والأصمعي، وأبي عاصم النبيل، وعبد الرحمن بن حماد الشعيثي، وأبي زيد الأنصاري، وخلق.
وعنه: أبو بكر بن الأنباري، وإسماعيل الصفار، وأبو بكر الشافعي، وأحمد بن خلاد النصيبي،) وأبو بكر القطيعي، وأحمد بن الريان المكي، وعمر بن مسلم الختلي، وخثيمة الأطرابلسي، وعثمان بن سنقة، وأبو عبد الله بن محرم، وخلق.
قال ابن خلاد: قال: الكديمي: قال لي علي بن المديني: عندك ما ليس عندي.
وقال الكديمي: كتبت عن ألف ومائة وست وثمانين رجلا من البصريين، وحججت سنة ست وثمانين، فرأيت فيها عبد الرزاق، ولم أسمع منه.
وقال عبد الله بن أحمد: سمعت أبي يقول: كان محمد بن يونس الكديمي حسن الحديث، حسن المعرفة، ما وجد عليه صحبته لسليمان الشاذكوني.
وروى حسن الصائغ: ثنا الكديمي قال: خرجت أنا وابن المديني والشاذكوني نتنزه، ولم يبق لنا موضع غير بستان الأمير، وكان الأمير قد منع من الخروج إلى الصحراء. فلما قصدناه وافى الأمير فقال: خذوهم. فأخذونا وكنت أصغرهم. فبطحوني، وقعدوا على أكتافي، فقلت: أيها الأمير إسمع مني: ثم قلت: ثنا الحميدي، ثنا سفيان، عن عمرو بن دينار، عن أبي قابوس، عن ابن عباس، عن النبي صلى الله عليه وسلم قال: إرحموا من في الأرض يرحمكم من في السماء.