Попробуйте не слезать в самом первом месте, где начнет пугаться. Только почуяли неладное - остановитесь. Разговаривайте с ним. Отвлекайте. Когда чуть успокоится,морковки кусочек дайте, если можете это сделать верхом (надо смочь). Двиньте на пол-шага хотя бы вперед. Опять хвалите. Если уперся и ни в какую - развернитесь, сделайте повторный заход. Найдите точку, где он еще не пытается осаживать, но стоит попытаться сделать еще шаг и начнутся психи. Стойте в этой точке. Гладьте, хвалите. До тех пор пока не успокоится. Сделайте небольшой вольт для отвлечения внимания. И опять разворачиваетесь туда, куда вам нужно. С каждым разом пытайтесь мягко добиться хоть одного лишнего шага. Осаживает - разворачиваетесь, делаете вольт и опять ищите точку невозврата. Я поначалу на пугалки, валяющиеся на дороге до 20 минут тратил. Сейчас такие знакомства проходят значительно быстрее.
А так по вашему описанию, он испугался, вы слезли и повели в руках. Для него это похвала. В след раз он считает, что бояться нужно сильнее, раз он боится, а вы все не слезаете, да например хлыстиком добавляете. Мне лично так кажется.