В общем, как оно не задалось с самого начала, так оно и продолжилось. Максимилиана в России не очень любили, воспринимая лишь «мужем своей жены». Насмешки особенно усилились после того, как разлюбившая мужа Мария едва ли не в открытую стала жить с графом Григорием Александровичем Строгановым (а после смерти мужа обвенчалась с ним морганатическим браком, в котором родила двоих детей).
Масло в огонь подливали постоянные слухи о том, что из семи детей, родившихся в браке, от Максимилиана лишь четверо старших, а остальные — «строгановские». Как писал в мемуарах С. Ю. Витте, «последние сыновья в отношение родства с Лейхтенбергским находились под знаком сомнения», а государственный секретарь Империи А. А. Половцев безапелляционно заявлял: «Всем было известно, что герцог Георгий — сын Григория Строганова».
Сергей — на этом семейном портрете Марии с детьми он слева — был предпоследним ребенком в семье, и потому тоже был «сомнителен».
Возможно, это и наложило отпечаток на его характер. По общему мнению, он подавал большие надежды, но все дело портил его дурной нрав.
Как писал тот же Половцев, светлейший князь Сергей Максимилианович был
… красивой наружности, высокого роста, стройного стана, весьма острого ума, зараженного некоторой пронырливостью, проницательно направленного к чисто практическим или скорее пустым целям. Не получив среднего образования, он сосредотачивал всю свою деятельность на сплетнях, кутежах, чтении поверхностных книг, посещении клуба, обедах, джине и приобретении мелких художественных вещей. При другом воспитании из него мог бы выйди замечательный человек, потому что способности в нем были недюжинные, но какая-то дворцовая суетливость обезобразила начатки щедро дарованные ему природой. Из всех четырех сыновей, он по талантливости наиболее напоминал свою неординарную мать.
Этому мнению вторит и боевой однополчанин князя, граф С. Д. Шереметев:
Сергей Лейхтенбергский был из братьев самый способный, самый одаренный. Он, как и все, был слабо подготовлен в науках, но его истинно артистическая натура выделила его резко из обычной колеи. Он отлично играл на фортепиано, любил окружать себя художниками и артистами, собирал их у себя, давал приятные вечера, был гостеприимен и любезен, и хотя не вполне еще выработался, но многое обещал и в молодом поколении был единственным в своем роде. Характер его был сложный и неоткровенный, его нельзя было считать человеком надежным, и сам он в шутку называл себя «Змием»; его считали даже лукавым, но думаю, что с годами многое бы сгладилось.