Abonyban id. Skultéty Sándor fedezte fel, aki nemcsak birkózóedző volt, hanem pedagógus és a község kulturális életének egyik központi alakja is. (A fia, ifj. Skultéty Sándor is birkózott; 2001-ben a Környezetvédelmi Minisztérium államtitkáraként, 56 éves korában halt meg.) A mester a következő szavakkal ajánlotta be a fiatal Vargát Matura Mihálynak, a válogatott szövetségi kapitányának: „Küldök egy gyereket, nagy tehetség”. És Varga János hamarosan beállított a tatai edzőtáborba.
1958-ban már négyszeres ifjúsági bajnok volt, és a felnőttek között is bajnoki ezüstérmet szerzett. 1959-ben katonaként a Bp. Honvédban folytatta, majd ott is fejezte be pályafutását. Mindvégig az 57 kg-os súlycsoportban szerepelt.
Az első nagy eredményeit szabadfogásban érte el: világbajnokságon volt ezüst-, majd bronzérmes. Később már csak kötöttfogásban birkózott, 1963 és 1970 között olimpiát, két világ- és két Európa-bajnokságot nyert. A kötöttfogásban tíz, a szabadban pedig öt magyar bajnoki címet szerzett.
Zseniális ösztönbirkózó volt. A társai szerint nemcsak az ellenfélnek, hanem neki sem volt fogalma, mit csinál majd a következő másodpercben, de a vetélytárs már hevert is a szőnyegen. (Ezt hasonlították Czibor Zoltán, a labdarúgó Aranycsapat balszélsőjének a kiismerhetetlen cseleihez.) Akadt egy gyengébb periódusa; a sportág legendáriuma szerint azért, mert meg akarták tanítani neki a klasszikus akciókat.
A birkózóválogatott állandó névadója, Polyák Imre Ramszesznek nevezte el, mondván, hasonlít az egykori fáraóra; a legtöbben még mindig ezen a becenéven emlegetik. De Polyák a súlycsoporthoz képest magas, nyúlánk alakja és hosszú végtagjai miatt a Hőscincér nevet is ráaggatta. Abból lett később Hős, miután Helsingborgban 1963-ban világbajnok lett. Az utolsó mérkőzését a szovjet Karavajev ellen vívta. Megsérült, és jelezte az edzői széken ülő Szilvásy Miklós olimpiai bajnoknak, hogy rettenetesen fáj az oldala. Szilvásy azt mondta, hogy majd a meccs után megbeszélik, és visszaküldte a szőnyegre. Csak a mérkőzés után derült ki, hogy bordatöréssel birkózta végig az utolsó perceket.
1971-ben, a szófiai vébén tussal kikapott a bolgár Trajkovtól, de azt követően fantasztikus sorozatot produkálva mégis a bronzéremig küzdötte magát, amiért sportszerűségi díjat kapott. 1972-ben, a müncheni olimpián botrányos bírói manőver „húzta ki” az esélyesek közül: leléptették a hazai szőnyegen birkózó Veil ellen. Megint tovább küzdött, és végül negyedik lett. 1973-ban vonult vissza.
1972-ben szerzett a TF-en szakedzői diplomát. 1983-ban mesteredzői címet kapott. 1990-ig a Bp. Honvéd, 1978-tól 1993-ig a juniorválogatott edzője volt. A tanítványai közül Faragó József és Sípos Árpád Európa-bajnokságot nyert.
A felesége (leánykori nevén Varga Gabriella) a Bp. Honvéd válogatott atlétája, diszkoszvető volt, 1980-ban 62.30-at dobott, megmagyarázhatatlan módon mégsem nevezték a moszkvai olimpiára. A lányuk, Varga Gabriella tőrvívó egyéni Európa-bajnok, a 2004. évi athéni olimpia hatodik helyezettje.