Johan växte upp strax söder om Söder och började spela fotboll i Gröndals IK som sexåring. Han gick 1986 över till att spela i Djurgårdens IF, laget vann S:t Erikscupen flera år i rad. Han flyttades upp i A-truppen till säsongen 1993 och fick debutera i division I Norra mot IK Sirius (1-1) i premiären den 26 april hemma på Kristinebergs IP. Tio minuter före slutet fällde han Ola Andersson innanför Djurgårdens straffområde och IK Sirius kunde kvittera på straff. Johan spelade ytterback den säsongen.

Säsongen 1994 flyttade han in till mittback och där har han spelat sedan dess. Första seriemålet gjorde Johan 16 maj på Grimsta IP mot IF Brommapojkarna (3-2) när han höll sig framme på en hörna. Djurgårdens IF vann division I Norra och fick spela i Allsvenskan följande säsong.

Den allsvenska debuten gjordes i premiären 10 april 1995 mot IFK Göteborg (1-1) på Stockholms Stadion. Det första allsvenska målet kom 14 juni mot Halmstads BK (2-1) på Örjans Vall, han nickade in 1-1 på hörna direkt efter paus. Johan lyckades dra på sig nio varningar på 20 matcher under sin första allsvenska säsong.

Johan blev uttagen i U21-truppen vid två tillfällen under hösten 1995 men det blev inget spel. Hans första och hittills enda framträdande i blågult kom i B-landskampen mot Skottland (1-2) den 10 oktober där han spelade hela matchen.

Djurgårdens IF åkte ur Allsvenskan efter säsongen 1996 och när Hammarby via serieseger tog klivet upp från division I Norra 1997 samtidigt som serietvåan Djurgården förlorade det allsvenska kvalet mot Östers IF (1-1 hemma och 0-2 borta) köptes Johan över till Hammarby.

Debuten i Hammarby gjorde han i Svenska Cupen mot IFK Stockholm (9-0) på Vårbergs IP den 29 mars 1998 och första Hammarbymatchen i Allsvenskan var premiären mot Örebro SK (3-1) på Söderstadion. Första Hammarbymålet var 2-0 målet mot Östers IF (3-1) i Svenska Cupen den 9 april på Söderstadion och första allsvenska målet för Hammarby kom när han på en hörna nickade in 2-0 målet mot Halmstads BK (3-1) den 11 maj på Örjans Vall.

Som en av allsvenskans bästa mittbackar blev Johan svensk mästare med Hammarby säsongen 2001. Klubbens första fotbollsguld! Johan spelade också i kvalet till UEFA Champions League mot jugoslaviska FK Partizan, 1-1 den 31 juli 2002 hemma på Råsunda Fotbollstadion och 0-4 borta på Stadion Partizana i Belgrad den 7 augusti.

Johan Andersson är en tuff mittback med bra spelförståelse och med sin placeringsförmåga och snabbhet är han dirigenten i backlinjen. Han är mycket stark på huvudet och nickspecialist på fasta situationer. Han har också en kanon i högerfoten som med fördel avlossas på frisparkar.