Japonijai buvo pažadėta 1940 m. Olimpinės žaidynės, tačiau Antrasis pasaulinis karas privertė šalį atsisakyti šios garbės. Tik 1964 m. Japonijos sostinė buvo perrinkta olimpinių žaidynių vieta. Tai buvo pirmosios olimpinės žaidynės, surengtos Azijoje.
Tokijas rimtai ėmėsi pasiruošimo didžiulėms šventėms. Žaidynių išvakarėse buvo atlikta reikšminga miesto rekonstrukcija: buvo nugriauta daug senų rajonų, nutiesti nauji greitkeliai, pastatyti tiltai, pastatytos modernios sporto bazės, restauruoti seni stadionai ir baseinai.
XVIII žaidynės subūrė 5140 sportininkų iš 93 šalių. Pirmą kartą olimpiadoje dalyvavo Alžyras, Kamerūnas, Dramblio Kaulo Krantas, Kongas, Malis, Nigeris, Senegalas, Zanzibaras, Čadas, Trinidadas ir Tobagas, Mongolijos Liaudies Respublika ir Nepalas. Pietų Afrikos Respublikos komandai nebuvo leista dalyvauti varžybose dėl rasinės diskriminacijos. Iš varžybų taip pat buvo sustabdytos komandos iš Šiaurės Korėjos, Indonezijos, Barbadoso ir Ekvadoro.
Spalio 10 dieną į olimpinį stadioną susirinko apie 90 tūkstančių žiūrovų. Sportininkus pasveikino Japonijos imperatorius Hirohito ir organizacinio komiteto prezidentas Dangoro Yasukawa.
Dar niekada olimpinė programa nebuvo tokia plati. Prie jo prisijungė dziudo bei moterų ir vyrų tinklinis. Išskirtinis šių žaidynių bruožas tapo žymiai padidėjusia konkurencija visų rūšių varžybose. Varžybų metu buvo užfiksuoti 77 olimpiniai rekordai ir 35 pasaulio rekordai.
1964 m. Žaidynėse TSRS sportininkai išlaikė savo pirmenybę neoficialiose komandinėse varžybose, iškovodami 96 medalius, iš kurių 30 buvo auksiniai. Sportininkai iš Jungtinių Valstijų į nacionalinę komandą parvežė 90 medalių, Japonijos komanda užėmė trečiąją vietą, pirmą kartą patekdama į trejetuką.
Japonijos vasaros olimpinės žaidynės buvo prisimintos dėl puikių sovietinių sunkiaatlečių pasirodymų. Aleksejus Vakhoninas, Rudolfas Plyukfelderis, Vladimiras Golovanovas ir Leonidas Zhabotinsky gavo aukso medalius, Viktoras Kurentsovas, Jurijus Vlasovas ir Vladimiras Kaplunovas - sidabrą.
Sovietų gimnastė Larisa Latynina iškovojo 2 aukso, 2 sidabro ir 2 bronzos medalius. Ji surinko bendrą olimpinių apdovanojimų skaičių iki 18 ir tapo iškovotų medalių skaičiaus rekordininke.
Pirmą kartą olimpinėse žaidynėse rezultatai buvo renkami ir saugomi kompiuteriais. Be to, pirmą kartą televizijos transliacijos į kitus žemynus buvo vykdomos iš olimpinių arenų.
