Optimering ved store datamænger
Jeg er ved at lave et program til at gennemparse en tabel.Tabellen fylder ca. ~35gb.
Prgrammet kører således:
-Select første række
(-Opret ny tabel udfra kriterie)
-Parsning af felt i rækken
-Indsæt data i ny tabel
-Slet række
(i en løkke selvfølgelig)
Hver "ny tabel" kommer til at indeholde 2-5 millioner rækker. (7 colums med 5-15 tegn i hver, numeriske data. se struktur nedenfor)
Mit spørgsmål går på hvordan jeg kan optimere dette mest muligt, da programmet skal køre simultant med at førstnævnte tabel fyldes op. Senere skal jeg kunne søge i disse data, så det skal helst være så smart opbygget som muligt.
Skal jeg f.eks. lave en id colum, således mssql kan indeksere ud fra den, eller giver det ingen mening? (jeg har ikke brug for id)
Generelle tanker omkring optimeringen vil være kærkomment.
Struktur på den "lille" tabel:
[dato] [char] (10)
[protocol] [tinyint]
[outip] [varchar] (15)
[outport] [varchar] (5)
[inip] [varchar] (15)
[inport] [varchar] (5)
[bits] [varchar] (12)
På forhånd mange tak.