
Двамата имат четири деца: Пол-Едме, роден на 7 ноември 1804 г.; Луиз-Жени (родена и починала през 1805 г.); Алфред, роден на 11 декември 1810 г., и Шарлот-Амели-Ермин, родена на 1 ноември 1815 г. Дядо му е поет, а баща му е специалист по Жан-Жак Русо, чиито творби издава. Фигурата на Русо има основополагаща роля в съзнанието на поета. Той многократно му отдава почит и атакува неговия противник Волтер. Негов роднина, при когото прекарва ваканциите си в замъка "Коне", е писателят Луис Александър Мари дьо Мюсе, маркиз Дьо Коне (1753 - 1839), командир на гренадирите и смел воин, носител на много кралски отличия. Гледката от замъка към камбанарията на църквата в Коне го вдъхновява за прочутата Лунна балада. Неповторимата атмосфера на красивата провинция е отразена и в комедията С любовта шега не бива, както и в новелата Марго.
През октомври 1819 г., още ненавършил девет години, е записан в прочутия колеж "Анри ІV", където и до днес има негова статуя. Там най-близък приятел му е Фердинан Филип Луи Шарл Ерик Розалино д’Орлеан, херцог на Шартър (1810 - 1842), най-големият син на крал Луи-Филип І. През 1827 г. Мюсе получава втора награда на конкурса по латински. По-късно започва да следва медицина, право и живопис, но бързо се отказва, защото е силно привлечен от литературата. На 31 август 1818 г. в дижонски вестник се появява баладата му "Сън". През същата година публикува свободен превод на "Изповед на един английски пушач на опиум" от Томас де Куинси.