Hurtig sammenligning af store tekstfelter

Du hasher hver side (laver det om til en 20-bytes signatur á lá eDonkey) og sammenligner derfra:

Tabellen (pseudo-SQL):

create table HasCompare
(
  hash char(20),
  page char(50)
);

Du kan evt. lave Hash som primary key - dvs. når du indsætter en dubblet så sker der fejl og det betyder at du kan slette den side du prøvede at indsætte.

Hashing-komponenter findes i massevis på nettet, søg evt. efter DCPHashes

Fandt denne, der ikke går ned ved strings > 180kb: http://www.endimus.com