Kapličku založil roku 1862 (MDCCCLXII jak vysvítá z chronogramu na kapličce – počítají se však jen červeně vyznačená římská písmena/číslice) majitel zámku, hrabě Jindřich Chotek, na počest své manželky Carloty (pocházející z německého rodu hrabat von Eltz), která zemřela právě toho roku ve věku 52 let. Manželé spolu prožili 31 let a manželství bylo mimořádně šťastné. Měli spolu 7 dětí, z nichž se 5 dožilo dospělosti. Tři synové se postupně vystřídali jako majitelé Veltrus: Rudolf, Emerich a Arnošt.
Kaplička byla zasvěcena sv. Karlu Boromejskému, patronu paní hraběnky (Carlota – Karlota – Karolína) a výklenek kdysi zdobila socha tohoto světce. Ta je zmiňována ještě v popisu panství z roku 1911, v průběhu 20. století se však ztratila. Kaple proto byla nazývána „Kaple sv. Karla“. Přesto se vžil název „Carlotina kaplička“ a název se přenesl i na sousední „Carlotin most“, přes který vede hlavní cesta do zámku z Veltrus.
