Родители мои, Михаил Михайлович и Марья Алексеевна, урожденная княжна Волконская, принадлежали к лучшему московскому обществу. Дед и бабка по отцу были люди очень богатые. Дед рано сошел с ума и всю семью возглавляла бабушка Варвара Андреевна Осоргина, урожденная Лыкшина. Сумасшествие моего деда, Михаила Герасимовича, началось бурно и неожиданно, когда моему отцу было лет 6 или 7. Дедушка любил играть в карты, для чего ежедневно, когда жил в Москве, посещал Английский клуб, самый фешенебельный клуб не только того времени, но и до последних дней, почему там можно было встретиться со всеми интересными людьми, жившими в Москве или проезжавшими через нее. Попасть в члены этого клуба было нелегко, принимали с большим разбором; надо было записаться заранее в кандидаты, которые баллотировались по очереди по мере освобождения вакансий. Мой отец рассказывал, что меня он записал кандидатом на баллотировку в год моего рождения, но дошла ли когда-нибудь до меня очередь, я не доискивался, так как в зрелых годах я в Москве не жил.

Однажды дедушка Михаил Герасимович играл в клубе с обычными партнерами в какую-то коммерческую игру (азартных он не любил). И вдруг слышит за соседним столом, как незнакомый ему господин, по-видимому, гость сказал довольно громко: «Я продаю свое калужское имение за 600 тысяч рублей (тогда считали ассигнациями). Как я буду рад, если покупатель скоро найдется и меня развяжет». Дед мой ничего не знал про это имение: было у него незначительное поместье в том же Калужском уезде, душ 75, не более, носившее нашу фамилию Осоргино, но в нем никто никогда не жил, даже, кажется, там не было и усадьбы. Что побудило деда моего вмешаться в услышанный разговор — совершенно непонятно и для семьи осталось необъяснимым, как будто какой-то рок его толкал. Он говорил потом, что думал, что этот господин, оказавшийся Сергеем Васильевичем Каром, шутит, и будучи в веселом настроении благодаря удачной игре, неожиданно для себя, тоже в виде шутки, сказал: «Я покупаю». На это С. В. Кар встал, поклонился дедушке, назвался и учтиво заявил: «Имение за Вами, когда прикажете совершить купчую?». Михаил Герасимович никогда от своих слов не отказывался — это было его непреклонное правило, даже в мелочах, тем более он решил быть верным себе в таком серьезном деле, почему тут же сговорился о времени совершения купчей и о сроках платежей.

С. В. Кар был сын неудачника-генерала царствования Екатерины Великой, посланного на поимку Пугачева, потерпевшего полную неудачу, отставленного затем от службы и сосланного на постоянное жительство именно в это калужское имение, переименованное им из Горяинова в Сергиевское. Народ же вновь отстроенной усадьбе дал свое прозвище по фамилии владельца — Карово. Сам генерал давно умер. Вдова его поступила в калужский монастырь и тоже скончалась, успев перед кончиной достроить и освятить в Сергиевском обширный, величественный каменный храм о трех приделах: главный — во имя Покрова Пресвятой Богородицы и боковые — во имя патронов ее мужа и сына: Василия, епископа Парийского, и преподобного Сергия Радонежского. По ее кончине калужский архиерей, вопреки всякому обычаю и правилу, пожелал, чтобы прах ее, хотя и монахини, покоился не на монастырском кладбище, а в храме, ею сооруженном, для чего с его благословения устроен был склеп в правом приделе.