税务处罚属于行政处罚，依据《行政处罚法》的规定，如果违法行为比较轻微的，并且违法单位主动进行改正的，可以不予处罚。
【法律依据】
《行政处罚法》第二十七条规定，当事人有下列情形之一的，应当依法从轻或者减轻行政处罚：
(一)主动消除或者减轻违法行为危害后果的；
(二)受他人胁迫有违法行为的；
(三)配合行政机关查处违法行为有立功表现的；
(四)其他依法从轻或者减轻行政处罚的。
