LEFT JOIN kun hvis

Jeg har en tabel med brugere, som via kolonne group_id er knyttet til en gruppe. Nogle brugere har dog ingen gruppe - de har group_id = '0'.

Når jeg selecter en brugers profil gør jeg sådan
SELECT
  u.name,
  u.age
  [...]
FROM users u
LEFT JOIN groups g ON g.group_id = u.group_id
WHERE u.user_id = '$user_id'

Med andre søger mysql i groups-tabellen selvom u.group_id = '0'. Det er dumt, fordi det behøver den ikke - HVIS u.group_id = '0' behøver den ikke slå op i group-tabellen.

Kan man få mysql til at lade være med at LEFT JOIN'e hvis u.group_id = '0' uden at splitte kaldene op?

På forhånd tak.
- Rasmus