Шувалов был уволен с поста главноуправляющего III отделе­нием летом 1874 г. Незадолго до отставки шефа жандармов наме­тилось соглашение между двумя группировками в правитель­стве – группой Шувалова и группой Константина Николаевича. Дело в том, что группа Шувалова была сильнее группы, поддер­живавшей великого князя, и последний, видимо отчаявшись в своих попытках противостоять этой группе, после очередной по­беды группировки Шувалова на заседании Совета министров 21 декабря 1873 г. (когда вопреки мнению Константина Николае­вича и ряда других членов Совета было принято высочайшее по­веление об установлении контроля уездных предводителей дво­рянства над народными школами) попытался установить контакт с шуваловским «кабинетом», приняв в нем участие для того, чтобы создать возможность компромиссных решений. Об этом из­вестно из дневников Валуева и Константина Николаевича.

«Вчера же, – записывает Валуев в дневнике под 27 декабря 1873 г., – гр. Шувалов передал мне подробности объяснения с вел. князем, состоявшегося накануне. Вел. князь настаивает на попытке согласованного способа действия. Гр. Шувалов сказал, что он не может возложить на своих коллег ответственность, не предупредив их и не посоветовавшись с ними. Вел. князь выразил готовность предварительно совещаться с четырьмя: гр. Шувало­вым, гр. Паленом, Тимашевым и мною. Насчет гр. Толстого и гр. Бобринского он считал прочное соглашение невозможным. На этом мы теперь стоим». Ближайшим результатом этого согла­шения шефа жандармов и председателя Государственного совета о сотрудничестве было компромиссное решение вопроса о миро­вых посредниках.