济南因地处济水之南而得名。济水，为古水名，又称大清河，一八五五年被黄河改道夺据，成为黄河下游河道，如今故鲜为人知。在遥远的古代，济南地方众泉竞涌，湖泊密布，南依群山，北临济水，是人类繁衍生息的好地方。殷商以前的济南地名已无籍可考。西周至春秋时期，济南称“泺邑”。“泺”指古泺水的发源地——今济南市内的趵突泉。春秋晚期，又改称“历下”，因地处历山（今千佛山）之下而得名。公元前五五五年，晋伐齐，败齐兵于历下。“济南”作为地名，始见于西汉初年。据司马迁的《史记》载：汉高后二年（公元前一八六年）“割齐之济南郡为吕王奉邑”，说明至迟在公元前一八六年以前已设置济南郡。以后各代，济南地方治所的称谓虽时有所变，但均以“济南”为地名。明洪武元年（一三六八年）置山东行省，济南逐渐成为全省的政治中心。明洪武四年，以砖石修筑城墙，周廓十二里。清代沿袭明制，济南仍为省治所在地。清末，胶济、津浦两条铁路相继建成，交汇于济南。1904年济南开辟商埠，逐步发展成为近代工商业城市。
