Ignorerings princip som karma på Exp.dk

Hvordan laver jeg smartest et princip til at ignorere brugere, ligesom karma her på Eksperten?

Den eneste løsning jeg kan komme på, er at man laver en tabel i MySQL til at registerere hvem der har stemt hvad på hvilke personer. Men denne tabel vil med tiden sikkert blive meget lang, og rissikere man så ikke at alt vil køre langsomt?

Tabel med ignoringer - hvor afsenderID er den bruger som afgiver sin "stemme" og modtagerID er den som bliver "stemt" på:

ID | afsenderID | modtagerID

Hvis der så er 1.000 brugere og alle har "stemt" på alle, vil der (hurtig hovedregning) være 1.000 * 999 = 999.000 records.