В 50-х годах XIX века на современной улице Октябрьской (от улицы Советской до Карла Маркса) были посажены деревья и кустарники. В городе появился еще один сквер, который длительное время оставался безымянным. 30 октября 1912 года городская Дума по рекомендации Ученой архивной комиссии присвоила упомянутому скверу имя Державина.
В конце 70-х годов XX века сквер подвергся полной реконструкции: старые деревья выкорчеваны, сквер обновился новыми посадками декоративных деревьер, кустарников, устроены фонтаны, места для. отдыхающих, газоны с зеленью и цветами. 12
