闲置土地使用权是由国土资源行政主管部门回收。
【法律依据】
《土地管理法》第五十八条规定，有下列情形之一的，由有关人民政府土地行政主管部门报经原批准用地的人民政府或者有批准权的人民政府批准，可以收回国有土地使用权：
(一)为公共利益需要使用土地的；
(二)为实施城市规划进行旧城区改建，需要调整使用土地的；
(三)土地出让等有偿使用合同约定的使用期限届满，土地使用者未申请续期或者申请续期未获批准的；
(四)因单位撤销、迁移等原因，停止使用原划拨的国有土地的；
(五)公路、铁路、机场、矿场等经核准报废的。
