会徽的主体是一个橄榄枝缠绕而成的桂冠,形状为古雅典城形状。在古代奥运会中,桂冠代表冠军的荣耀。此外,橄榄树在雅典还被视为圣树。橄榄枝象征和平,组成的图案同时也象征生命圈、天空和大海。会徽下方是“雅典2004”字样和奥林匹克五环。