违章建筑的认定是由县级以上人民政府土地行政主管部门负责的，现实情况中一般是由住建部门和市政管理部门负责的。
【法律依据】
《土地管理法》第八十三条，依照本法规定，责令限期拆除在非法占用的土地上新建的建筑物和其他设施的，建设单位或者个人必须立即停止施工，自行拆除;对继续施工的，作出处罚决定的机关有权制止。建设单位或者个人对责令限期拆除的行政处罚决定不服的，可以在接到责令限期拆除决定之日起十五日内，向人民法院起诉;期满不起诉又不自行拆除的，由作出处罚决定的机关依法申请人民法院强制执行，费用由违法者承担。
