MySQL - Sortere efter antal gange en værdi fremtræder i en tabel

Hej eksperter,

Jeg er ved at lave en top liste over brugere der har fået andre brugere oprettet, og i den forbindelse har jeg feltet Ref_ID ud for alle brugere, som er ID'et på den reffererende bruger. Det der så skal ske er at jeg skal hente alle refferenter ud fra bruger tabellen og sortere dem efter hvor mange brugere de har reffereret.

Indtil nu ser min kode sådan ud:

echo"<br><table class=\"display-table\"><tr><th>#</th><th>Brugernavn</th><th>Antal refferencer</th></tr>";
$result = mysql_query("SELECT DISTINCT Ref_ID FROM brugere where Ref_ID != ''") or die(mysql_error());
$i =1;
while($row = mysql_fetch_array($result)){
$total = mysql_fetch_assoc(mysql_query("SELECT COUNT( * ) as antal FROM `brugere` where Ref_ID='".$row['Ref_ID']."'"));
echo "<tr><td>$i</td><td>".brugernavn($row['Ref_ID'])."</td><td> $total[antal]</td></tr>";
$i++;
}
echo"</table>";