En el sitio que hoy en día ocupa La Pequeña Iglesia lo ocupó durante varios años otro templo cuya construcción se llevó a cabo entre 1719 y 1721. Dicho edificio se realizó rápidamente utilizando madera para erigirlo por lo que no tuvieron que pasar muchos años hasta que tuvo que ser reparado por las malas condiciones de conservación que tenía.

Para tener que estar renovando el templo y arreglando los desperfecto cada cierto tiempo, mejor construir una iglesia nueva. Eso es justamente lo que se hizo y siguiendo los planos del arquitecto Wilhelm Jeremias Müller entre los años 1773 y 1776 se construyó La Pequeña Iglesia utilizando para ello piedra arenisca roja y dotando al edificio de un estilo Luis XVI. 

Las campanas se instalaron en la iglesia en el año 1807. Catorce después, en 1821, pasó a ser propiedad de la comunidad evangelista cuando las iglesias reformistas y evangélica se unieron, y es que en un principio la iglesia se hizo para los feligreses reformistas.

Ya hemos hablado de los bombardeos de la Segunda Guerra Mundial. Esta iglesia tampoco se salvó de las bombas, siendo destruida en septiembre de 1944. Dos años después se inició su reconstrucción y el primer servicio del nuevo edificio tuvo lugar en 1949. A mediados de los noventa se renovó su interior. La Iglesia Pequeña es la más antigua de la ciudad aunque tiene cierto aire moderno.

Foto vía: Turismo de Karlsruhe.