Il Giappone partecipò ai Giochi della XVII Olimpiade che si sono svolti a Roma dal 25 agosto all'11 settembre 1960, con una delegazione di 162 atleti impegnati in diciassette discipline per un totale di 96 competizioni. Portabandiera alla cerimonia di apertura fu il ginnastaTakashi Ono, alla sua terza Olimpiade, campione uscente nel concorso individuale a Melbourne 1956 e primo giapponese a vincere un titolo olimpico individuale nella ginnastica.
Fu la nona partecipazione di questo paese ai Giochi estivi. Furono conquistate quattro medaglie d'oro, sette d'argento e altrettante di bronzo, che valsero l'ottavo posto nel medagliere complessivo. Tutte le medaglie d'oro vennero dalla ginnastica maschile. A livello individuale fu lo stesso Ono a primeggiare vincendo due titoli di specialità e una terza medaglia d'oro nel concorso a squadre.