行政处罚听证程序是否应当公开进行应该根据相关规定来判断。根据《中华人民共和国行政处罚法》第四十二条法律规定除涉及国家秘密、商业秘密或者个人隐私外，听证应公开举行。
根据《行政处罚法》第四十二条第一款规定了下列4种情况可以适用听证程序：
(1)责令停产停业;
(2)吊销许可证或者执照;
(3)较大数额罚款;
(4)其他较重的行政处罚。
