清乾隆五年，17岁的纪昀就和邻县20岁的马氏成婚，纪昀先后有一位夫人和六房妾。
共育有四子，长子纪汝佶字御调，又字侠如，乾隆乙酉举人。次子纪汝传，字绪承，曾任九江府通判和江宁府同知。三子纪汝似，字象庭，曾任广东县丞。四子纪汝亿，字万斯，纪晓岚第四子。
