Cresciuto nelle giovanili del Porto, Jorge Costa ha iniziato la sua carriera da professionista in prestito a club minori come Penafiel e Marítimo, prima di fare ritorno al Porto nel 1992. Per il decennio successivo ha militato nei dragões, diventando un giocatore simbolo del club: fino al 2002 ha vinto otto campionati portoghesi (di cui cinque consecutivi dal 1995 al 1999), cinque coppe nazionali e otto Supercoppe di Lega.
Dopo un breve prestito al Charlton nel 2002, con cui ha collezionato 24 presenze, è tornato a Porto ottenendo i primi successi internazionali: la Coppa UEFA nel 2003 e la Champions League nel 2004, queste due affermazioni sotto la guida di José Mourinho, e la Coppa Intercontinentale 2004. Nel 2005 ha lasciato il Porto, con un bottino di 16 reti in 251 incontri di Primeira Liga. L'anno successivo ha chiuso la sua carriera nel club belga dello Standard Liegi, dove ha segnato due reti in venti partite del campionato belga 2005-2006.