وكان ابتداء اتصال ابن أبي دواد بالمأمون أنه قال كنت أحضر مجلس القاضي يحيى بن أكثم مع الفقهاء فإني عنده يوما إذا جاءه رسول المأمون فقال له يقول لك أمير المؤمنين انتقل إلينا وجميع من معك من أصحابك فلم يحب أن أحضر معه ولم يستطع أن يؤخرني فحضرت مع القوم وتكلمنا بحضرة المأمون فأقبل المأمون ينظر إلي إذا شرعت في الكلام ويتفهم ما أقول ويستحسنه ثم قال لي من تكون فانتسبت له فقال ما أخرك عنا فكرهت أن أحيل على يحيى فقلت حبسة القدر وبلوغ الكتاب أجله فقال لا أعلمن ما كان لنا من مجلس إلا حضرته فقلت نعم يا أمير المؤمنين ثم اتصل الأمر وقيل قدم يحيى بن أكثم قاضيا على البصرة من خراسان من قبل المأمون في آخر سنة اثنتين ومائتين وهو حدث سنه نيف وعشرون سنة فاستصحب جماعة من أهل العلم والمروءات منهم ابن أبي دواد فلما قدم المأمون بغداد في سنة أربع ومائتين قال ليحيى اختر لي من أصحابك جماعة يجالسونني ويكثرون الدخول إلي فاختار منهم عشرين فيهم ابن أبي دواد فكثروا على المأمون فقال اختر منهم فاختار عشرة فيهم ابن أبي دواد ثم قال اختر منهم فاختار خمسة فيهم ابن أبي دواد واتصل أمره وأسند المأمون وصيته عند الموت إلى أخيه المعتصم وقال فيها وأبو عبد الله أحمد بن أبي دواد لا يفارقك الشركة في المشورة في كل أمرك فإنه موضع ذلك ولا تتخذن بعدي وزيرا ولما ولي المعتصم الخلافة جعل ابن أبي دواد قاضي القضاة وعزل يحيى بن أكثم وخص به أحمد حتى كان لا يفعل فعلا باطنا ولا ظاهرا إلا برأيه وامتحن ابن أبي دواد الإمام أحمد بن حنبل وألزمه بالقول بخلق القرآن الكريم وذلك في شهر رمضان سنة عشرين ومائتين ولما مات المعتصم وتولى بعده ولده الواثق بالله حسنت حال ابن أبي دواد عنده ولما مات الواثق بالله وتولى أخوه المتوكل فلج ابن أبي دواد في أول خلافته وذهب شقه الأيمن