Joel Toe a fellelhető információk szerint hazája U20-as és U23-as válogatottjában is szerepelt. A monroviai Gedi & Sons csapatában kezdte a karrierjét, és itt játszott egészen addig, amíg a polgárháború sújtotta országból el nem menekült egy naszád fedélzetén Ghánába...
Ott a Marchland együttesében, majd a Nania FC-ben (Abedi Pelé klubjában) játszott, mielőtt a dél-afrikai Aziz Karához szerződött volna.