7 ноября 1864 г. на совещании у императора, где присут­ствовали В. А. Долгоруков, В. II. Панин, П. А. Валуев и П. П. Гагарин, среди прочих обсуждалась и проблема единства правительства. Тогда-то Долгоруков вновь заговорил о своем предложении относительно средства обеспечения этого единства. Его мысль раздваивалась между стремлением к созданию прави­тельства по западноевропейскому образцу и необходимостью изоб­рести паллиативы, ничего но меняющие в системе. В передаче Валуева предложение это выглядело так: «Кн. Долгоруков прово­дил мысль о малом Совете, высказанную им еще в марте месяце этого года. По дознанной непригодности многоголового и много­язычного Совета министров к направлению дел кн. Долгоруков желает, чтобы по важнейшим вопросам государь выслушивал предварительно несколько особо доверенных лиц, которым, та­ким образом, было бы предоставлено главное совещательное в до­лах участие и которым впоследствии должны были бы подчиняться другие».