Kaukase hat panische Angst vor Menschen, was nun?

Hallo Ihr Lieben, ich habe vor genau 5 Monaten einen Kaukasen aus einer Messi Wohnung geholt. Er ist 4 Jahre Alt und hat panische Angst vor Menschen. Wir haben leider derzeit noch kein Grundstück, auf dem er frei laufen kann. Also gehen wir am Tag mehrere Stunden nach draußen mit ihm. Bis wir aufs Feld oder in den Wald gelangen, muss er jedoch einen kurzen Weg durch die Stadt laufen (kleine Stadt, nicht überfüllt.) Wir treffen auf dem Spaziergang maximal 5 Personen, die an uns vorbei gehen. Bei weiblichen Personen ist die Angst minimal. Er hat aber jedoch panische Angst vor Männern, Kindern und vor allem Rentnern. Er klemmt sofort seine Rute ein und zieht an der Leine bis er außer Reichweite ist. Mit anderen Hunden gibt es jedoch gar keine Probleme. Was können wir dagegen tun? Zu Hause fühlt er sich pudelwohl, er frisst normal und ist nicht verhaltensauffällig.