si vas a conectar los pcs al router lo que te hace falta es cable RJ 45 NORMAL,no cruzado como dicen ahi arriba.
Simplemente conecta los pcs a cada puerto del router a traves de sus respecticas tarjetas de red y el susodicho cable y luego busca la opcion de crear pequeña red o red domestica(Win XP lo tiene,supongo q el resto tb).Si solo un PC tiene XP dale a la opcion de crear diskete de red(o algo asi) y luego ve metiendo el diskete en todos los ordenadores q formen parte de la red para ejecutar el programa de red q el diskete traera y con el cual se creara la red.
Espero haberme explicado bien y haberte servido de ayuda q voy un poco bolingueta jijiji