Problemer med Xml, stream og buffer

Jeg har nedenstående kode - Filename skal tages som en string, indeholdende fuld sti + filnavn til en vilkårlig fil.

---- kode ----

FileStream xmlStream = new FileStream(Filename, FileMode.Create, FileAccess.Write);
MemoryStream saveStream = new MemoryStream();
XmlWriterSettings xmlWriterSettings = new XmlWriterSettings();
byte[] buffer;

xmlWriterSettings.Indent = true;
xmlWriterSettings.CloseOutput = false;

XmlWriter xmlWriter = XmlWriter.Create(saveStream, xmlWriterSettings);
           
xmlWriter.WriteStartDocument();
// Skriver div. ting
xmlWriter.WriteEndElement();
xmlWriter.Flush();
xmlWriter.Close();

buffer = new byte[saveStream.Length];
saveStream.Read(buffer, 0, buffer.Length);
xmlStream.Read(buffer, 0, buffer.Length);

saveStream.Close();
xmlStream.Close();

--- /kode ---

Min buffer er konstant fyldt med 0-bytes som om der aldrig bliver læst noget ind i den fra saveStream'en.
Giver jeg xmlWriter et filnavn, eller xmlStram som parameter til constructoren, fungerer det fint og uden problemer...

Jeg er lost