Slet farve

Jeg har følgende makro, der indsætter dags dato, når jeg indsætter en ny linie:

Private Sub Worksheet_Change(ByVal Target As Range)
If Intersect(Target, Range("A1:IV10000")) Is Nothing Then Exit Sub
If Range("J65436").Value <> "X" Then
Range("J65400:J65536") = "": Range("J65436").Value = "X"
Cells(Target.Row, 24) = Format(Now(), "dd-mm-yyyy") & ": "
End If
End Sub

Mit problem er, at hele kolonne A er farvet med forskellige farver for hver linie. Når jeg så indsætter en ny linie indsættes farven fra den ovenstående række også i celle A i den nye række. Dette udgør et problem ifm. en anden makro, som jeg senere eksekverer.
Kan man ikke lave et eller andet i den ovenstående makro, så der ikke er angivet en farve i den nye linie, der bliver indsat.