Najstarsze zachowane dokumenty z pieczęcią Koźmina pochodzą z pierwszej połowy XV w. Przedstawiają one białego orła bez korony z rozpostartymi skrzydłami na czerwonym tle. Przyjmuje się, że herb ten pochodzi jeszcze z czasów książęcych z XIII w.
Orzeł bez korony był herbem miasta do końca XVIII w. W okresie Księstwa Warszawskiego zmieniono herb na ukoronowaną tarczę, a po powrocie po 1815 roku okupacji pruskiej zmiana herbu następowała kilkakrotnie. Wówczas wprowadzano do herbu orła pruskiego, patronów miasta – św. Wawrzyńca i św. Floriana.
W roku 1896 powrócono do herbu przedstawiającego książęcego orła nieukoronowanego. Herb ten uznano za obowiązujący po odzyskaniu niepodległości przez Polskę, a także po II wojnie światowej.
Wygląd orła na tarczy herbowej poważnie zmieniono przy weryfikacji herbów miast polskich w 1966 r. i w tej postaci funkcjonował on niemal do końca 1991 r.
W dniu 30 grudnia 1991 r. Rada Miejska podjęła uchwałę w sprawie zatwierdzenia wyglądu herbu i flagi miasta Koźmina. Zatwierdzony tą uchwała herb nawiązuje do herbu umieszczonego na Sztandarze Koła Śpiewaczego w Koźminie ufundowanego 1 listopada 1892 r.
Natomiast flaga Koźmina Wlkp. to prostokąt w kolorze zielonym, na środku którego umieszczony jest herb miasta.
