Restaurant Baltzer har fått navnet sitt fra Baltzer Rustad som drev gjestegiveri og fergetrafikk mellom Horten og Moss på begynnelsen av 1800- tallet. Som i dag var Horten et viktig knutepunkt som bandt vestsiden av Oslofjorden sammen med østsiden.