A ver si yo consigo explicártelo, como yo lo veo.
Por un lado tenemos lo que sería el respeto de la tripulación, porque quitando contramestres y algún que otro cargo dentro del barco, el groso de los piratas no les llega la inteligencia para mucho más y si se ven que su capitán se retira (aunque pudiera decirles que es estrategia y etc, dudarían de él), le perderían el respeto y por lo que ha pasado Flint la tripulación le puede saltar en contra de él por muy poco. A esto hay que sumarle que tiene a Hornigold apoyandolo solo si consigue sacar a Vane del fuerte, cosa que también pondría ponersele en contra (véase la conversación que tienen los dos, sobre que hará al amanecer).
Y ahora vamos a lo particular de la posición, actualmente Flint controla toda la bahía y el fuerte. Tiene la ventaja de la posición y de la sorpresa (que suele ser bastante importante en cosas de batalla) si decidiera retirarse, perdería esa ventaja, porque Vane también es capitán, también tiene barco y también tiene tripulación, no solo eso, si no que la isla esta dividida y se le podrían unir más capitanes con sus barcos. ¿Qué quiero decir? Que podrían hacerse con el control de la bahía y los cañones de Flint no tendrían alcance para atacar el fuerte, aparte de que si hay varios barcos enemigos, por mucho que sea un buque de guerra, no es algo inmortal, es más dichos barcos podrían hostigarlo y podrían hacer que Flint estuviera a rango tanto de otros barcos como del propio fuerte, por lo que tendría varios frentes con los que lidiar y no podría hacer nada salvo que sucumbir.
También cabría hablar un poco entre la rivalidad entre Vane & Flint, que toda la isla la conoce, y quien diera un paso atrás sería visto como un "perdedor"