Togo je rođen 22. prosinca 1847. u gradu Kagoshimi u pokrajini Satsuma u tadašnjem feudalnom Japanu. Imao je tri brata, a njegov je otac bio samuraj u službi klana Shimazu. Svoje prvo borbeno iskustvo Togo je stekao još sa 17 godina, kad je u kolovozu 1863. britanska mornarica bombardirala njegov rodni grad tijekom Anglo-satsumskog rata. Sljedeće godine se zajedno s dvojicom braće priključio novoutemeljenoj satsumskoj mornarici. Tijekom sljedećega rata protiv klana Bakufu u siječnju 1868. Togo je dobio službu na ratnom brodu Kasuga koji je sudjelovao u pomorskoj bitci kod Awe, nedaleko od Osake. Bila je to prva bitka modernih ratnih brodova u Japanu. Istim brodom, ali s činom časnika borio se i u posljednjim bitkama protiv mornarice Bakufu kod Miyaka i Hakodate. Godine 1871. poslan je na školovanje u Veliku Britaniju gdje je proveo sljedećih sedam godina. Prvo je zajedno s ostalim japanskim kadetima posjetio London, a zatim su kadeti razdvojeni i poslani u internat kako bi svladali engleski jezik. Togo je potom upućen u pomorsku bazu u Plymouthu, gdje je bio kadet na brodu Worcester. Njegovi britanski kolege pogrdno su ga nazivali "Johnny Kinez" ne znajući razliku među Azijatima. Mladi je samuraj takve opaske često prekidao udarcima. Sve je iznenadio kad je nakon dvije godine završio školovanje kao drugi u klasi. Tijekom 1875. Togo je kao običan mornar oplovio svijet na palubi britanskog vježbovnog broda Hampshire. Nakon povratka na Cambridgeu je studirao matematiku, a potom pohađao Kraljevsku pomorsku akademiju u Portsmouthu i Kraljevski pomorski koledž u Greenwichu. Nakon školovanja se s činom poručnika 1878. vratio u Japan na palubi Hieia, jednog od novoizgrađenih ratnih brodova. Japanska ratna mornarica povjerila mu je zapovjedništvo na brodu Daini, a potom Amagi.

Nakon rata nastavio je uspješnu karijeru kao zapovjednik Vojno- -pomorskog stožernog koledža, Sasebo vojno-pomorskog koledža i Stajaće flote. Godine 1898. promaknut je u čin viceadmirala, a 1903. ministar mornarice Yamamoto imenovao ga je glavnim zapovjednikom Kombinirane flote japanske carske mornarice. To imenovanje zaprepastilo je mnoge, pa i cara. Kad je upitao Yamamota zašto je imenovao Togoa na tako važnu funkciju, ovaj mu je odgovorio: "Zato što je Togo čovjek dobre sreće!"

Ta tvrdnja uskoro se pokazala točnom kad je Togo, u međuvremenu promaknut u čin admirala, u rusko-japanskom ratu porazio rusku carsku mornaricu. Prvo je kod Port Arthura potukao rusku dalekoistočnu, a potom u bitci kod Cušime i rusku baltičku flotu. Poraz Rusije šokirao je čitav svijet, a presudna bitka kod Cušime slomila je u potpunosti rusku moć u istočnoj Aziji.

Poslije rata Togo je postavljen za načelnika glavnog stožera japanske carske mornarice, a godine 1913. dobio je počasnu titulu admirala flote. Od 1914. do 1924. bio je zadužen za obrazovanje princa, budućeg japanskog cara Hirohita. Nije pokazivao zanimanje i želju da se poput drugih visokih japanskih časnika uključi u politiku, ali je ipak oštro kritizirao Londonski pomorski sporazum koji je ograničavao povećanje i jačanje japanske ratne mornarice. Za svoje zasluge primio je mnoga domaća i strana odlikovanja te plemićke naslove. Admiral Togo umro je 30. svibnja 1934. u 87. godini života. Priređen mu je državni pogreb, a na pomorskoj paradi što je priređena u njegovu čast u Tokijskom zaljevu svoje su brodove poslale ratne mornarice Velike Britanije, SAD-a, Nizozemske, Francuske, Italije i Kine.