1928年5月3日，日本帝国主义在济南大肆屠杀中国军民及外交官员，制造济南惨案，又称五三惨案。这是日本帝国主义对中国人民欠下的一笔血债。
1928年2月，亲英美的南京国民党政府分编四个集团军，进行“北伐”，出兵攻打奉系军阀张作霖，以图统一北方。
支持张作霖的日本帝国主义害怕英、美势力向北方发展，侵犯它的利益，于是， 4月19日，田中内阁以“就地保护侨民”为借口，决定第二次出兵山东，阻挠蒋介石的军队北上，派遣第六师团5000人在青岛登陆，经青岛和胶济铁路沿线要地，“保护帝国臣民”。实质上是命令日军对青岛和胶济铁路沿线实行军事占领。为了抢先控制济南，日军驻天津3个步兵中队于4月20日侵入济南，还公然在济南城里筑起了街垒。
21日，南京政府对日本政府提出了严重抗议。25日，日军第六师团在青岛登陆，26日，第十一旅团开抵济南商埠，呈现出一副临战态势。盘踞济南的奉系军阀的走狗张宗昌弃城北逃，北伐军开进济南。这时日军早已在市内各马路构筑工事，敷设电网，步步为营，当北伐军部队进入济南时，日本军队就寻衅开枪，打死中国军民多人。
5月3日，日本军国主义按照预谋向国民党北伐军驻地发起了大规模的军事进攻，将北伐军7000余人缴械。日军又以种种借口在济南奸淫掳掠，无所不为。中国军民在马路上行走时，在商店里买东西时，甚至在澡堂里洗澡、在理发店里理发时，只要被日本兵碰上，立即遭到杀害。日军还唆使日侨义勇团，杀害平日有反日言论或者取缔过日货的中国学生、工人、店员。一时间，济南成了日寇屠杀中国军民的杀人场。在5月3日这一天，被日本侵略者野蛮屠杀的中国军民在1000人以上。
残杀了国民党政府山东特派交涉员及16名外交人员。日军于5月3日深夜包围并强行搜查了山东交涉署，特派交涉员蔡公时用日语表示抗议：“我们是外交官，这里是非战斗单位，不许搜查。” 日军却毫不理睬，将蔡捆绑起来，把他的耳朵和鼻子割去。蔡公时坚持民族气节，怒斥日军暴行：“日本人对我如同古代奴隶社会对待俘虏一样”，“日军决意杀害我们，惟此国耻，何时可雪？野兽们，中国人可杀不可辱！”日军大怒，又将他的舌头、眼睛挖去，并对其他人也百般摧残。最后，除一人侥幸逃脱外，其余的人全部被日军杀害。其状之惨，令人目不忍睹。
面对日军制造的惨案，蒋介石采取了退让方针，命令北伐军“忍辱负重”，撤出济南，绕道北伐。7日，日军第6师团师团长福田彦助向蒋介石发出最后通牒，提出无理要求，并限12小时以内答复。蒋介石派熊式辉、马家伦连夜赶赴济南与日军交涉，日方又谬称期限已过，拒绝谈判。8日拂晓，福田下令重炮攻城，11日济南陷于敌手。
日军占领济南城后，肆意杀人抢掠，奸淫妇女，又将街上市民赶至一处，作刺杀目标取乐。日军为了消灭罪证，把中国军民的尸体用麻袋包裹后，运至青岛投入海中，或者浇汽油焚烧。来不及撤出的数百名伤员也全部被日军屠杀。据济南惨案被难家属联合会调查：“济案”中国军民死亡6123人，伤1700多人，财产损失 2957万元。惨案发生后，日方否认日军屠杀中国人民的罪行，反而要南京国民政府道歉、赔偿、惩凶。1929年3月28日双方签订《议定书》，宣称“中日两国所受之损害问题”俟双方“实地调查决定”，后亦无结果。
