A bírói vizsgát 16 évesen, főgimnáziumi igazgatói és belügyminiszteri engedéllyel tette le, s ötvenévesen vonult vissza. Az alig 65 kilós sportember kiválóan beszélt angolul, ez tette lehetővé nemzetközi karrierjét. Ennek kezdetéről így beszélt: "Engem a londoni olimpia előtt tolmácsnak küldtek ki két olyan csodálatos magyar játékvezetővel, akiknek, hogy a táskáját vigyem, arra sem voltam méltó... És annak ellenére, hogy a legkisebb inkorrektséget is elkövettem volna velük szemben, az olimpián már én szerepeltem, és nem ők! Sir Stanley Rous (az angol labdarúgó-szövetség nagyhatalmú vezetője - a szerk.) ugyanis kijelentette: számára elsősorban az a fontos, hogy beszélni tudjon a kiválasztott játékvezetőkkel, a többi csak ráadás."
Így lett - noha soha nem volt igazolt játékos - a világ egyik leghíresebb bírója, az első "nagy" magyar játékvezető. 1951-ben már FIFA-bíró volt, pályafutása során három világbajnokságon és négy olimpián dirigált, több mint 200 magyar bajnoki és 50 nemzetközi válogatott mérkőzést vezetett. 1954-ben, Svájcban, mindössze 33 évesen fújta először a sípot a magyarok számára fájó emlékű világbajnokságon, majd 1958-ban, Svédországban és 1966-ban, Angliában is ott volt, utóbbin ő vezette a nyitómérkőzést az angol és az uruguayi válogatott között, nagy álmának beteljesülése, a vb-döntő vezetése azonban nem valósult meg. Négy olimpián is bíráskodott, 1952-ben a helsinki, 1960-ban a római, 1964-ben a tokiói és 1968-ban a mexikói játékokon. 1965-ben a KEK, a következő évben az UEFA Kupa elődjének számító Vásárvárosok Kupájának döntőjét vezette.
A mindig korrekt játékvezetőt 1965-ben az UNESCO által alapított Fair Play-díjjal tüntették ki. Az aktív bíráskodástól 1971-ben, a Bp. Honvéd-Újpesti Dózsa mérkőzéssel búcsúzott. Visszavonulása után 1974-től az MLSZ elnökségének tagja, 1974 és 1979 között az MLSZ Játékvezető Bizottságának elnöke volt.
Élményeit sikeres könyvekben örökítette meg: A pálya közepén, A labda másik oldala, Fészekrakás Észak-Amerikában, Az ott lent Amerika, A szöuli különgép.
A játékvezetés mellett 1945-től a Nemzeti Színház ügyelője, majd főügyelője volt, mély barátság fűzte Kálmán György Kossuth-díjas színművészhez. Puritánul élt, minden energiáját a játékvezetésre fordította. Zsolt István 1991. május 7-én hunyt el.