A Ferencváros ificsapatában nevelkedett, majd 1961-ben felkerült a felnőtt együttesbe. Az Aranycsapat utáni generáció egyik legnagyobb tehetségének tartották. Bámulatos volt technikai képzettsége, újszerű, lőtt passzai szinte mindig célba találtak, szellemesen, improvizatívan irányította a játékot, és jól lőtt távolról.

Az 1962-63-as szezonban bajnoki címet szerzett a Fradival, majd egy évvel később a válogatottban is bemutatkozhatott, méghozzá az Európa-bajnokság négyes döntőjében! A magyar csapat eddigre Wales-en, az NDK-n és Franciaországon jutott túl a selejtezők során, majd az elődöntőben hosszabbításos vereséget szenvedett a spanyoloktól. Varga a bronzmérkőzésen debütált, ahol ezúttal hosszabbításos győzelmet arattunk - 3-1 Dánia ellen - és megszereztük a harmadik helyet.

Az év őszén a tokiói olimpián is szerephez jutott, igaz csak a nyitómeccsünkön. Ezen 6-0-ra nyertünk Marokkó ellen. A következő fordulóban Jugoszláviával játszottunk izgalmas, 6-5-re végződő mérkőzést, majd a Románia elleni 2-0-s győzelemmel jutottunk be a legjobb négy közé. Az elődöntőben az Egyesült Arab Köztársaság néven szereplő egyiptomi csapattal találkoztunk, és könnyedén, 6-0-ra nyertünk. A fináléban Csehszlovákia ellen harcoltuk ki a 2-1-es győzelmet, amivel megnyertük a második olimpiai aranyérmünket labdarúgásban.

1964 végén ismét bajnok lett a Ferencvárossal, a következő év tavaszán pedig bejutottak a Vásárvárosok Kupája döntőjébe. Torinóban játszottak a Juventus-szal, amelyet Fenyvesi góljával 1-0-ra legyőztek, ezzel elhódítva a trófeát.

1967-ben és ’68-ban ismét megszerezte a magyar bajnoki címet a zöld-fehérekkel, és a válogatottban is állandó helyet kezdett kiharcolni magának. Részese volt az 1968-as Európa-bajnokság selejtezőinek, melyek során az NDK-t, Hollandiát és Dániát előztük meg a csoportunkban, majd a Szovjetunió ütött el minket a további szerepléstől a pótselejtezőben. Ősszel ismét olimpiai szereplés várt volna rá, de Mexikóban még a torna kezdete előtt elhagyta a csapatot, és nem tért vissza Magyarországra.

A disszidálás miatt természetesen eltiltást kapott, majd a Hertha BSC-ben játszott. 1971-ben bajnoki bronzérmet szerzett a Bundesligában, de egy évvel később bundabotrányba keveredett. Mivel bűnösnek találták, két évre eltiltották a német bajnokságban való szerepléstől. Emiatt Skóciába, az Aberdeen csapatához igazolt. Itt remekül teljesített, a szurkolók azóta is a klub valaha volt legjobb játékosaként emlegetik, de egy szezon után továbbállt. A BEK-címvédő Ajax igazolta le az épp távozó Johann Cruyff pótlására. Ennek ellenére nem sok lehetőséget kapott, mivel a holland válogatott érdekében a hazai játékosok szerepeltetését erőltették. Így itt is csak egy idényt töltött el, majd visszatért Németországba, a Borussia Dortmundhoz igazolt.

A nagynevű klub ekkoriban csak a másodosztályban szerepelt, és Varga második itt töltött éve után sikerült ismét feljutniuk a Bundesliga 1-be. Többek között az ő közreműködésének köszönhetően azonban edzőváltás történt, Otto Rehhagel vette át a csapatot, és ő kijelentette, hogy nem fogja játszatni a magyar játékost. Egyrészt így akarta megbüntetni, amiért szerepet játszott az elődje eltávolításában, másrészt a csatár játékstílusa nem fért bele az elképzeléseibe. Fél év után az Augsburghoz távozott, majd a belga Gentben fejezte be a pályafutását.

Biztosítási ügynökként helyezkedett el, majd a kölni főiskolán edzői végzettséget szerzett, és visszatért a labdarúgáshoz is. Kisebb német együtteseknél, a BV Brambauernél, a Preußen Münternél, az MTV Ingolstadtnál és az MSV Münchennél dolgozott, mielőtt 1996-ban hazatért Magyarországra. A Ferencváros kispadjára ült le, és gyorsan kivívta sokak ellenszenvét. Több idősebb játékost is eltávolított, és fiatalokat épített be, mondván, nekik még tud tanítani valamit. A vezetőséggel állandóan feszült volt a viszonya, végül 1997 tavaszán menesztették. Ezt követően Kispesten, Dunaújvárosban, Diósgyőrben és Győrben töltött el hosszabb-rövidebb időszakokat. A 2000-es évek közepén visszavonult, majd szakkommentátorként dolgozott. Utolsó éveiben több infarktuson is átesett, majd 2010 április 9-én egy öregfiúk mérkőzésen rosszul lett, és a pályán érte a halál.