Aptardamas III olimpiados surengimo klausimą, Tarptautinis olimpinis komitetas nusprendė jį organizuoti Jungtinių Valstijų teritorijoje, nes ši šalis rodė gerus rezultatus dvejose ankstesnėse žaidynėse. Iš pradžių jie norėjo surengti olimpines žaidynes Čikagoje ar Niujorke, tačiau dėl to pasirinkimas teko mažam uostamiesčiui Sent Luisui.
III olimpiada Sent Luise kartu su Paryžiaus olimpiada vyko pasaulinės parodos rėmuose. Tačiau vietinė parodos vadovybė nelaikė jos konkurente, o priešingai, visais įmanomais būdais bandė naudoti žaidimus savo reklamos tikslams. Be to, organizatoriai pakartojo kai kurias 1900 m. Vasaros olimpinių žaidynių Paryžiuje klaidas. Dėl prisirišimo prie pasaulinės parodos varžybos buvo nustumtos į antrą planą, o pati olimpiada truko beveik 5 mėnesius (1904 m. Liepos 1 d. - lapkričio 23 d.). Daugybė varžybų vyko vadovaujant įvairioms profesinėms organizacijoms, tačiau, nepaisant to, joms visoms buvo suteiktas olimpinių disciplinų vardas.
Pasak TOK, Sent Luiso vasaros žaidynėse dalyvavo 12 šalių. Vienintelė valstybė, pirmą kartą dalyvavusi konkurse, buvo Pietų Afrika. Palyginti su Paryžiaus olimpinėmis žaidynėmis, dalyvaujančių šalių skaičius smarkiai sumažėjo. Paryžiaus vasaros žaidynėse dalyvavusios 13 valstybių dėl ekonominių priežasčių negalėjo atvykti į Sent Luisą. Tuo metu su Japonija kariavusi Rusija varžybose nedalyvavo.
III vasaros olimpinėse žaidynėse iš viso dalyvavo 651 žmogus, iš jų 6 moterys. Jie varžėsi dėl 94 apdovanojimų rinkinių 18 sporto šakų. Gausiausia buvo Jungtinių Amerikos Valstijų komanda, jos žaidynėse atstovavo 533 žmonėms. Daugelyje sporto šakų (boksas, imtynės, vandensvydis, šaudymas iš lanko ir tenisas) pasirodė tik Amerikos sportininkai, todėl žaidimai akivaizdžiai demonstravo šalies pranašumą.
Sent Luise jie pirmą kartą pradėjo apdovanoti tris, o ne du geriausius rezultatus parodžiusius sportininkus. Pagrindinis varžybų nugalėtojas apdovanotas aukso medaliu; antrąją vietą užėmęs sportininkas - sidabras; o trečioji vieta buvo apdovanota bronzos medaliu. Ši tradicija išliko iki šių dienų.
Neoficialiame komandiniame konkurse dalyvavusios šalys buvo išsidėsčiusios taip: I vieta - JAV (78 aukso, 82 sidabro, 78 bronzos medaliai), II vieta - Vokietija (4 aukso, 4 sidabro, 5 bronzos medaliai), III vieta - Kuba (4 aukso, 2 sidabro, 3 bronzos medaliai).
