Peter Rufai 17 éven át szolgálta a nigériai válogatottat, összesen 65 mérkőzésen lépett pályára nemzeti színekben. Részt vett az 1994-es és az 1998-as világbajnokságon, ő volt az első számú kapus, amikor Nigéria története során először kijutott a vb-re. A 1994-es Afrikai Nemzetek Kupáját megnyerte a csapattal, miután korábban kétszer is döntőbe jutott.
Pályafutását a Stationery Stores gárdájánál kezdte Lagosban, majd több európai klubban is megfordult, például Belgiumban, Hollandiában, Portugáliában és Spanyolországban is védett, köztük az akkoriban jegyzett alakulatnak számító Deportivo La Corunánál.
Visszavonulása után kapusakadémiát indított Nigériában és Spanyolországban. Rufai a hatodik játékos Nigéria legendás ’94-es vb-csapatából, aki már nincs köztünk. Emlékét a nigériai labdarúgás örökre megőrzi.