房遗直,房玄龄的嫡长子。嗣父亲梁国公的爵位,永徽初年,为礼部尚书、汴州刺史。弟弟房遗爱,娶唐太宗女高阳公主,拜为驸马都尉,官至太府卿、散骑常侍。公主骄横,密谋废黜房遗直而夺其封爵,永徽年间,诬告房遗直对她无礼。唐高宗令长孙无忌审理此事,查出了高阳公主与房遗爱谋反的情况。房遗爱伏诛,高阳公主赐自尽,诸子流放到岭表。房遗直以父亲的功劳特赦,除名为庶人。停止房玄龄的配享。在历史中未提及他曾有妻子或者侍妾。