Danske kommuner har tradition for at finde sammen i interessefællesskaber. KL er et barn af kommunalreformen i 1970, hvor 1366 kommuner blev reduceret til kun 275.
Som en udløber af reformen besluttede de tre daværende kommunale foreninger - Den Danske Købstadforening, De Samvirkende Sognerådsforeninger i Danmark og Foreningen af Bymæssige Kommuner - at slutte sig sammen i Kommunernes Landsforening.
KL fik nyt logo og design i september 2001. I den forbindelse blev det besluttet kun at kalde foreningen for "KL".
Siden 2005, hvor København og Frederiksberg meldte sig ind, har alle danske kommuner været medlemmer af KL.
1. januar 2007 trådte en ny kommunalreform i kraft, og antallet af kommuner blev reduceret til 98.