Původní budova byla vyprojektována a postavena českým architektem Janem Letzelem, který působil v Japonsku. Byla dokončena v dubnu 1915 a pojmenována „Hirošimský prefekturní palác pro výstavy produktů“.
Dne 6. srpna 1945 v 8.15 hodin místního času vybuchla nad budovou atomová bomba Little Boy (hypocentrum bylo ve výšce 580 m, epicentrum ve vzdálenosti asi 160 m). Atomový dóm byl nejbližší stavbou, která po explozi zůstala stát, i když byla značně poškozena. Dodnes je udržován ve stejném stavu, v jakém byl těsně po výbuchu. Slouží tak jako připomínka ničivosti jaderných zbraní a jako symbol naděje na světový mír bez nukleárních zbraní.
