Застройка улицы Карла Маркса началась в XVIII веке жителями слобод Ямской, Стрелецкой и других. Формирование улицы шло постепенно. На первом городском плане улица называлась Долгой. Это название соответствовало её протяженности: улица начиналась от Кузьминской (ныне Астраханская, ранее Антонова - Овсеенко), пересекала несколько улиц, выходила к северным границам города, где и оканчивалась улицей Струговой (ныне Пирогова), разделяя город как бы на две равные части. За это иногда называли ее Долевой. На втором городском плане нанесена со старым названием. Вся ее застуденецкая часть стала именоваться Кадетской (это название присвоено ей после 1802 года, когда на левобережной части реки Студенц расположился дворянский кадетский корпус).
Улица Долгая в свое время была наиболее оживленной и загрязнённой в городе. Пройти по ней было довольно трудно, а особенно трудно было по ней проехать. Тамбовский полицмейстер 10 мая 1871 года по этому поводу обратился с письмом в городскую Управу, в котором писал, что «Долгая улица вымощена от архидьяконской Стефановской церкви (бывшая Уткинская) только до Семинарской улицы (ныне Ленинградской), остальная часть той улицы находится невымощенной, через это проезд по оной до конца всей улицы по случаю низменности места совершенно невозможен, в особенности в весеннее и осеннее время...» и что эта улица «одна из самых торговых, ибо по ней преимущественно идут все обозы». Отвечая полицмейстеру, городская Управа признала, что проезжая часть этой улицы действительно в дурном состоянии, но она еще может существовать некоторое время и без замощения. Только благодаря энергичной деятельности городского головы Андрея Николаевича Чичерина — дяди наркома иностранных дел Георгия Васильевича Чичерина — в 1873 году улица Долгая была полностью замощена булыжным камнем. Теперь она от начала до конца покрыта асфальтом.
21 октября 1918 года исполком городского Совета Долгую и Кадетскую улицы воссоединил в единую, дав имя Карла Маркса — основоположника научного коммунизма (1818—1883).
На участке ее от улицы Интернациональной до реки Студенец, на месте старого крепостного рва, в начале XX века разбит сквер, который в 80-х годах XX века полностью реставрирован: Он пополнился молодыми деревьями, цветочными клумбами, песочными и асфальтированными дорожками. В нем устроены фонтаны, удобные скамейки. В конце сквера находится здание филармонии. Здесь же установлен бюст дважды Герою Советского Союза В. С. Петрову.
Длина улицы 7600 метров. 12