¿Y que carga tiene el router? ¿los 4 haciendoles ping?
Intenta "descargar" el router, sin hacer llamadas, etc..., y prueba solamente desde un host (si desconectas el cable del resto, mejor que mejor).
Si sigue, prueba con otro cable, aunque tiene toda la pinta que sea cosa del router.
No sé muy bien como funciona ese router, a lo mejor la pérdida, si la hace siempre en un mismo momento en concreto, no se trate de sobrecarga, sino que intente realizar alguna otra conexión remota u operación (como por el tema de la voip), y por ese de pérdida. Si no te afecta en nada más, yo no me preocuparia demasiado.
Si esto lo haces recién reseteado mejor.
Y bueno, si se trata por sobrecarga del equipo, lo único que se me ocurre es intentar ponerlo en bridge o crear una DMZ que apunte a otro router neutro que haga toda la carga de los 4 equipos.