Tilføjelse af et xml element i i VB.net

Et sikkert formodentligt simpelt spørgsmål under VB.net

Jeg har en .xml fil som ser nogenlunde således ud:

<?xml version="1.0" encoding="utf-8" standalone="no"?>
<visitor>
<time>14:19:54</time>
</visitor>

Nu vil jeg gerne tilføje en registrering således at det kommer til at se således ud:

<?xml version="1.0" encoding="utf-8" standalone="no"?>
<visitor>
<time>14:19:54</time>
<time>14:55:53</time>
</visitor>

Jeg kan oprette filen fra ny, og jeg kan læse den, men hvordan TILFØJER jeg.
Det jeg har ser nogenlunde således ud:
Dim writer As XmlTextWriter
Dim doc As New XmlDocument()
Dim visitor As XmlElement
Dim root As XmlNode
Dim nodeOuter As XmlNode
doc.Load(filename)
nodeOuter = doc.CreateTextNode(time.ToString)
doc.AppendChild(nodeOuter)
writer = New XmlTextWriter(New StreamWriter(filename))
doc.WriteTo(writer)
writer.Close()