Gianfranco Zola je rođen u Olieni, na Sardiniji, i u rodnom gradu je počeo omladinsku karijeru u lokalnom klubu Korazi. Seniorsku karijeru je počeo 1984. u Nuorezeu, da bi dvije godine kasnije potpisao za ekipu Toresa iz Sasarija. Godine 1989. prelazi u Napoli, i odmah prve sezone osvaja Seriju A.
Zolin saigrač u Napoliju je bio legendarni Maradona koji je bio na sličnoj poziciji kao i Zola. Maradona je imao veliki uticaj na Zolu naučivši ga dosta toga, a jedna od stvari kojih ga je naučio je i tehnika šutiranja slobodnih udaraca.
Sa Napolijem Zola je osvojio i Superkup Italije 1991. godine, a 1993. prelazi u Parmu. Sa Parmom 1995. osvaja Kup UEFA.
Novembra 1996. godine Zola prelazi u engleski Chelsea, i oblači dres sa brojem 25. Njegova prva sezona u Chelsea-ju je bila odlična, i tako je pomogao ekipi da osvoji FA kup. Na putu do finala je postigao četiri gola, od kojih je jedan sa oko 25 metara Liverpulu koji je na tom meču vodio sa 2:0, ali je Chelsea preokrenuo na 4:2. Sljedeće sezone sa Chelsea-jem je osvojio 3 trofeja: Liga kup Engleske, Kup pobjednika kupova i Evropski superkup. Na finalnom meču Kupa pobjednika kupova protiv Štutgarta nije bio u startnoj postavi, ali je zato postigao pobjedonosni gol u istom minutu u kojem je ušao u igru. Tako se Chelsea po drugi put u istoriji domogao velikog evropskog trofeja.
U Chelsea-jevoj prvoj sezoni u Ligi šampiona 1999/00. Zola je bio jedan od ključnih igrača ekipe. Te sezone Chelsea je došao do četvrtfinala takmičenja gdje je ispao od Barselone, a u prvom meču Zola je postigao pogodak iz slobodnog udarca. Iste sezone Zola sa Chelsea-jem još jedanput osvaja FA kup. Zbog svojih godina Zolini nastupi su postajali ograničeni, pogotovo dolaskom dva napadača Džimija Flojda Haselbajnka i Ejdura Guđonsena. Međutim, Haselbajnk je u svojoj prvoj sezoni sezoni imao odličnu saradnju sa Zolom i zajedno su postigli 32 gola te sezone (Zola 9 golova, Haselbajnk 23 gola).
Sezone 2001/02. Zola igra sve rjeđe od dolaska italijanskog trenera Klaudija Ranijerija. Naredna sezona je bila njegova posljednja u Chelsea-ju, a te sezone je postigao najviše golova po sezoni od kako je došao u londonski klub. Postigao je 16 golova, a posljednji gol za Chelsea je bio lob udarac protiv Evertona. Zola je 2003. proglašen za najboljeg igrača Chelsea svih vremena od strane navijača. Ukupno je za Čelsi odigrao 312 utakmica i postigao 80 golova.
Zola se 2003. godine vraća na Sardiniju i prelazi u Kaljari. Pomaže ekipi da se plasiraju u Seriju A, a karijeru završava 2005. godine tako što na svojoj posljednjoj utakmici postiže dva gola protiv Juventusa.