Notas:
-Efectívamente, usa los JOIN's mucho antes que concatenar tablas en el FROM uniéndolas en el WHERE, o peor aún, subconsultas tipo WHERE ID IN (select tururu FROM tarara Where piripipi). Son sensiblemente más rápidas de ejecutar.
-Poner FK's (claves foráneneas) o no ponerlas no te impide "unir" tablas. Las foreign keys sirven para mantener la integridad de la base de datos, es decir, que los datos sean consistentes y fiables Esto quiere decir que si borras una fila de una tabla maestra, o la modificas, los cambios se aplicarán en cascada a las tablas relacionadas (si así lo has indicado cuanco creas el foreign key). Bastante útil y recomendable usar Foreigns keys, pero entonces tu tablas deberás convertirlas al tipo INNODB y no MYISAM o cosas raras.
-SIEMPRE usa CLAVES PRIMARIAS para identificar filas de una tabla mediante foreign keys, no otros campos ni campos UNIQUE por muy golosos que parezcan. Te ahorrarás futuras fallas y calentamientos de cabeza. Este error importante lo cometes en la tabla "poker_partidas_apuntadas" usando el nombre de usuario en vez de su ID para la columna "usuario". CAMBIALO.
La consulta sería algo así como
SELECT pu.login
FROM poker_usuarios pu
LEFT JOIN poker_partidas_apuntadas ppa ON pu.usuario=ppa.idusuario
WHERE ppa.idpartida=2
Esto sólo funcionaría si haces el cambio que te digo arriba sobre la tabla "poker_partidas_apuntadas".
ppu y pa se llaman "alias" (se puede poner cualquier alias a cualquier tabla, pero la utilidad es que el alias sea lo mas corto posible) y sirven para no tener que escribir entero el nombre de la tabla cuando quiero acceder a un campo de ellas y para saber a qué campo de qué tabla estás usando en el caso de que algunas tabals tengan campos con el mismo nombre.