حدث عن: ثور بن يزيد، حريز بن عثمان، وأفلح بن حميد، وشبل بن عباد، وإبراهيم بن نافع، وسفيان الثوري، وطائفة.
وعنه: محمد بن عبد الله بن عمار، وصالح وعبد الله ابنا عبد الصمد ابن أبي خداش، وعلي بن حرب، وأخوه أحمد بن حرب المواصلة، وثقه أبو حاتم.
وقال يزيد بن محمد الأزدي في " تاريخ الموصل ": كان زاهدا ورعا من أصحاب سفيان، رحل وكتب عمن لحق من الحجازيين، والكوفيين والبصريين والشاميين والموصليين، وكان حافظا للحديث متفقها.
قال بشر بن الحارث: كان يقال: إن قاسما الجرمي من الابدال، كان لا يشبههم - يعني رفاقه - في الزي، يلبس دون المعافى، وزيد بن أبي الزرقاء.
قال علي بن حرب: دخلت منزل قاسم بن يزيد، فرأيت خرنوبا في زاوية البيت كان يتقوت منه، وسيفا ومصحفا. قال: ورئي قاسم كأن الموصل على كتفه قد أخذها من كتف فتح الموصلي، ففسرها قاسم على رجل عابر، فقال: الموصل يقوم بفتح، فيموت، ويقوم بك.
قال بشر الحافي: كان قاسم يحفظ المسائل والحديث، قال لنا المعافى: اسمعوا منه فإنه الأمين المأمون.
وقال يزيد بن محمد في " تاريخه " حدثنا عبد الله بن المغيرة مولى بني هاشم عن بشر الحافي أنه ذكر عنده أصحاب سفيان، فأجمعوا على تفضيل المعافى بن عمران، فقال بشر: رزق المعافى شهرة، وما رأت عيناي مثل قاسم الجرمي رحمه الله.