Slette en mappe

jeg vil slette en mappe på serveren og bruger følgene funktion:

    mysql_query("DELETE FROM user WHERE id = '".$_GET['id']."'");
    $dir = "/var/www/vivaa.dk/din/uploads/".$_GET['id']."/";
    $count = mysql_query("SELECT COUNT(*) AS total FROM files WHERE userid = '".$_GET['id']."'");
    $count = mysql_result($count,0);
    if($count > 0) {
    $rmfile = mysql_query("SELECT file FROM files WHERE userid = '".$_GET['id']."'");
        while($rm = mysql_fetch_array($rmfile)) {
            unlink("$dir".$rm['file']."");
        }
    }
    rmdir($dir); //SLET BIBLIOTEK

Dette fjerner alle filerne i mappen uden problemer.. Men mappen nægter den at fjerne.. Jeg har prøvet med adskellige funktioner inde fra php manualen, men intet virker..

Med den ovenstående funktion jeg har lavet får jeg følgene fejl:

Warning: rmdir(/var/www/vivaa.dk/din/uploads/14/): Permission denied in /var/www/vivaa.dk/din/inc/userlist.php on line 26


Hvad er der galt? Mappen har fuld skriv tilladelse, men nægter fuldstændig at blive slettet..