XFCE, Enlightenment (a partir do E17), KDE e GNOME não são WMs (Window Manager), são DEs (Desktop Environment). Daí tudo o que é *box e *wm ser substancialmente mais rápido que o resto. Tens aqui uma thread com uma discussão que pode ajudar a esclarecer as diferenças (mais a partir da 2a página).Eu já experimentei carradas de Windows Managers desde Fluxbox, Openbox, XFCE, JWM, Enlightment, KDE e Gnome (ufa!) de todos os que experimentei tiro várias conclusões:
Ambiente onde me sinto melhor: Gnome.
Ambiente mais rápido: JWM.
Ambiente para sistemas velhos mas que não são muito maus (): XFCE.
Contudo usei Openbox no meu portatil velhinho