司马迁的妻子柳倩娘是成纪人，今甘肃秦安县北，而且是西汉名将李广的外孙女，父亲柳振庭是一位诗书画都极好的读书人。长子司马临后改姓“冯“夏阳人，今陕西韩城人，次子司马观，后改姓“同”夏阳人，今陕西韩城人。女儿历史上不可考，嫁丞相杨敞。杨敞，西汉丞相。汉昭帝时曾任丞相，为弘农杨氏第一世祖。
杨敞之妻为司马迁的女儿，大将军霍光，是汉武帝的托孤重臣，辅佐八岁即位的汉昭帝执政，威势很重。霍光身边有个叫杨敞的人，行事谨小慎微，颇受霍光赏识，升至丞相职位，封为安平候。杨敞的妻子，是太史公司马迁的女儿，颇有胆识。她见丈夫犹豫不决的样子，暗暗着急，趁田延年更衣走开时，上前劝丈夫说：“国家大事，岂能犹豫不决。
