Kan ikke logge af fra Basic Auth

Jeg har et mini site med Basic Authentication, men jeg kan ikke få mit system at logge af. Jeg har skrevet en logout.jsp, som blot indeholder dette.

<%
session.invalidate();
response.sendRedirect("../index.jsp");
%>

men man kan alligevel hoppe ind i de beskyttede sider bagefter.

Hvordan får jeg logget folk ordentligt af?