Veszprém nívós zenei élete a 18. és 19. században bontott szárnyat. Az első említésre méltó eredmény Volkra Ottó püspökhöz köthető, aki 1711-ben letelepítette a veszprémi Várban a piarista rendet, azaz a kegyes oktatórendet. A piarista atyák nem csupán a hagyományos tanítás területén, de a zeneoktatásban is jeleskedtek.
Később, a 18. század végén Bajzáth József püspök új alapokra helyezte a város zenei életét. Intézkedései közé tartozott a népénekeket és zsoltárokat megszólaltató Scola Cantorum Wesprimiensis – az első veszprémi énekiskola – létrehozása a Szent Mihály Székesegyház falai között.
A hangszeres zenét a dóm profi muzsikusai oktatták a veszprémi polgároknak, kézműveseknek, mesterembereknek, akik világi koncerteken együtt léptek fel tanáraikkal. Ebben a virágzó időszakban formálódott a város lakosságának zenei ízlése és műveltsége.
A 19. században azonban jelentős visszaesés következett, amikor a katolikus egyház kivonult a zenei oktatásból, és a templomokban is a „semmi világi” elv szerint alakították a repertoárt. Így a város korszerű zenei oktatóintézet hiányában nézett szembe a századfordulóval.
A megyeszékhely első zeneiskoláját Kecskeméthy Margit, a kiváló énekes és cimbalmos alapította 1916-ban. Addigra már annyi magántanítványa volt, hogy szükségesnek érezte intézményesített formában folytatni munkáját. Az első tanévet már 115 növendékkel kezdte meg. Innen indult a városi zeneiskola sikertörténete, mely napjainkig is tart.
A mai Csermák Antal Zeneiskola épülete a Megyeház tér 5. szám alatt az 1700-as évek végén épült, de kezdetben más funkciója volt. 1820-ban József-kaszárnyaként említik, ekkor lovaskatonáknak adott szállást, ezért akkoriban a Megyeház teret még Lovarda térnek hívták. Érdekesség, hogy az 1860-as években, amikor a bakonyi betyárok tartották rettegésben a térséget, az épületben rögtönítélő bíróság működött. A halálraítélt betyárokat az itt kialakított siralomházból vitték a vesztőhelyre. A ház katonai célokat szolgált egészen 1875-ig, majd 100 éven át számos funkcióváltáson esett át: a különböző hivatalokat szakszervezeti székház váltotta fel, kulturális célokra használták, majd 1982. december 15-én a zene költözött a házba.
Csermák Antal hegedűművész, zeneszerző, a verbunkos zene ikonja nevét 1955-ben vette fel a zeneiskola, amely ekkor még más helyszínen működött.
A volt kaszárnyaépület gyönyörűen megújult az elmúlt években: a külső rekonstrukcióra 2015-ben, a teljes belső felújításra pedig 2021-ben került sor. Megújult a nagy koncertterem, s a meglevők mellett öt új tantermet és 10 új hangszeres termet is kialakítottak. A zeneiskola 100 éves jubileuma alkalmából 2016-ban ültették el a Csermák emlékfát az épület előtt. Jelenleg több mint 900 növendék tanul zenét az intézményben 27 tanszakon, 6 éves kortól felnőttkorig.