Деревня Алексеевка 4-я упоминается в епархиальных сведениях 1911 года по церковному приходу села Ольховка. В 1932 году - 126 жителей.
Решением исполкома областного Совета от 11 февраля 1975 года №91 деревня Алексеевка 4-я объединена с деревней Ольховка и исключена из перечня населённых пунктов области. 2