Den hvide trøje er tæt forbundet med AGF, men faktisk spillede klubben i de første år i en blå- og hvidstribet trøje.
Fodbolden begyndte at rulle i AGF i 1902, og i 1904 fik klubben sit første spillesæt: Blå- og hvidstribede trøjer med sorte shorts indkøbt i fodboldens moderland, England. Spillesættet havde disse farver frem til 1911-12, hvor det blev afløst af en grøn- og hvidstribet trøje med hvide shorts.
I perioden 1918-21 spillede Byens Hold i blå trøjer med hvide shorts, og først i 1921 fik holdet den spilledragt, som vi kender i dag: Hvid trøje med marineblå shorts og strømper. Det nye spilletøj blev skænket af "velyndere af AGF". Det vides ikke med sikkerhed, hvorfor farven hvid blev valgt, men efter sigende var det efter inspiration fra den engelske fodboldklub Tottenham Hotspur.
Hvad angår udebanedragten, var rød trøje og hvide shorts i mange år den foretrukne sammensætning. I starten af 1970'erne blev det ændret til en udebanedragt helt i rødt, og i 1997 blev den marineblå udebanedragt, som vi kender i dag, indført.
Derudover har udebanetrøjen i kortere perioder været lyseblå, isblå, lilla og senest grøn- og gråstribet.