Las distribuciones de 64 bits son bastante estables ahora mismo. Ya disponen de muchísimas aplicaciones portadas. Yo probé Ubuntu 8,04 amd64 durante unas semanas y te lo confirmo, aunque siempre existen algunas salvedades.
A día de hoy el principal problema que veo es que sigue habiendo aplicaciones comúnmente utilizadas que siguen corriendo de forma nativa en modo ia32. El plugin de Flash de Adobe es un ejemplo, pero no el único. Eso implica que esas aplicaciones han de ser emuladas en modo 32 bits y necesitas el paquete lib32 para correrlas.
Por otro lado está el rendimiento. La mejora de rendimiento en un procesador de 64 bits corriendo de forma nativa es prácticamente inapreciable, desde mi punto de vista, respecto al mismo corriendo en modo 32 bits. La velocidad de los procesos es aparentemente la misma, lo que no quita que el modo de 64 bits te dé más precisión en cálculos de coma flotante (básicamente el doble de precisión).
Probablemente si usas aplicaciones que usen de forma exhaustiva cáculos en coma flotante (editores de sonido, diseño de imágen...) sí que notarás algún cambio. Tampoco puedo confirmártelo, porque la mayoría de las aplicaciones de uso general son enteras, y por lo tanto el comportamiento en modo 64 y 32 es casi el mismo.
Yo me decidiré a portar todo a 64 bits cuando no sea necesario utilizar emuladores de 32 y constituya un TODO separado del anterior modo. A pesar de todo hay mucha gente que lleva años usando distribuciones de 64 bits y está muy contenta. Es elección tuya ya, y casi una cuestión de gusto más que de optimización según lo veo.
Un saludo.