ليس بأمين، ونزا به أهل الكوفة. فدعاه عمر فخرج معه وفد فكانوا أشد عليه ممن تخلف عنه وقالوا: إنه غير كاف وعالم بالسياسة ولا يدري علن ما استعملته، وكان منهم سعد بن مسعود الثقفي عم المختار، وجرير بن عبد الله فسعيا به فعزله عمر وقال عمر لعمار: أساءك العزل؟ قال: ما سرني حين استعملت ولقد ساءني حين عزلت. فقال له: قد علمت ما أنت بصاحب عمل ولكني تأولت: (ونريد أن نمن على الذين استضعفوا في الأرض ونجعلهم أئمة ونجعلهم الوارثين).
ثم أقبل عمر على أهل الكوفة فقال: من تريدون؟ قالوا: أبا موسى. فأمره عليهم بعد عمار فأقام عليهم سنة فباع غلامه العلف فشكاه الوليد بن عبد شمس وجماعة معه وقالوا: إن غلامه يتجر في جسرنا فعزله عنهم وصرفه إلى البصرة، وصرف عمر بن سراقة إلى الجزيرة.
وخلا عمر في ناحية المسجد فنام فأتاه المغيرة بن شعبة فحرسه حتى استيقظ فقال: ما فعلت هذا يا بأمير المؤمنين إلا من عظيم. فقال: وأي شيء أعظم من مائة ألف لا يرضون عن أمير؟ ولا يرضى عنهم أمير؟ وأحيطت الكوفة على مائة ألف مقاتل، وأتاه أصحابه فقالوا: ما شأنك؟ فقال:. إن أهل الكوفة قد عضلوني. واستشارهم فيمن يوليه، وقال ما تقولون في تولية رجل ضعيف مسلم أو رجل قوي مسدد؟ فقال المغيرة: أما الضعيف المسلم فإن إسلامه لنفسه وضعفه عليك، وأما القوي المسدد فإن سداده لنفسه وقوته