لكونه لم يتقن الأخذ عنه كما يجب. وارتحل في كلب العلم سنة أربع وثمانين. قال علي بن إسحاق بن راهويه، فيما رواه عنه عثمان بن جعفر اللبان،: ولد أبي من بطن أمه مثقوب الأذنين، فمضى جدي راهويه إلى الفضل بن موسى، فسأله عن ذلك، فقال: يكون ابنك رأسا إما في الخير، وإما في الشر.
وقال أحمد بن سلمة: سمعت اسماق بن إبراهيم يقول: قال لي عبد الله بن طاهر: لم قيل لك ابن راهويه وما معنى هذا وهل تكره أن يقال لك هذا قلت إن أبي ولد في طريق مكة، فقالت المزاورة: راهويه، بأنه ولد في الطريق. وكان أبي يكره هذا، وأما أنا فلست أكرهه. سمع إسحاق قبل الرحلة من: ابن المبارك، والفضل السيناني، وأبي تميلة، ويحيى بن واضح، وعمر بن هارون، والنضر بن شميل. وفي الرحلة من: جرير بن عيد المجيد، وسفيان بن عيينة، وعبد العزيز الدارقطني، وفضيل بن عياض، ومعتمر بن سليمان، وعيسى بن يونس، وعبد العزيز بن عبد الصمد العمي، وابن علية، وأسباط بن محمد، وبقية بن الوليد، وحاتم بن إسماعيل، وحفص بن غياث، وأبي خالد الأحمر سليمان بن حيان، وشعيب بن إسحاق، وعبد الله بن إدريس، وعبد الأعلى بن عبد الأعلى، وعبد الرحمن بن مهدي، وعبد الرزاق، وعبد الوهاب الثقفي، وعتاب بن بشير الجندي، وأبي معاوية، وغندر، وابن فضيل، والوليد بن مسلم، وأبي بكر بن عياش، وخلق سواهم. وعنه: الجماعة سوى ق.، وأحمد بن حنبل، ويحيى بن معين قريناه، ويحيى بن آدم شيخه ومحمد بن يحيى بن الذهلي، وإسحاق الكوسج، وأحمد بن