BlockRead fra csv/txt-fil (Delphi2)

Jeg har testet på en text fil på 100MB og der var blockread kun ca. 1 sek. hurtigere, her er koden:

var
  x,i : integer;
  fil : file;
  buffer : string; //array of char;
begin
  assignfile(fil,'C:\ditfilnavn');
  reset(fil,4096);
  x:=filesize(fil);

  setlength(buffer,x*4096);
  blockread(fil,buffer[1],x,i);
  closefile(fil);

  memo1.Lines.Text:=buffer;
end;

Og et svar hvis du kan bruge det.

Ja 1 sek. hurtigere siger jo intet i sig selv :-)

Men uden blockread tog det ca. 10 sek.
Med blockread tog det ca. 9 sek.

Hej,
hvad med linie-længden?
er den uendelig? Eller indenfor
Memo-boxens bredde?

Jeg spørger "dumt".

Ved ikke helt hvad du mener? Teksten bliver sat ind i memo´en som den er, der bliver ikke lavet noget om. Du skal self. have begge scroll bar slået til for at undgå ord deling

Dette er KISS, med fuld skue og overliggende knastaksel ;-)

var
  f : TStringList;
begin
  f := TStringList.Create;
  f.LoadFromFile('C:\ditfilnavn');
  Memo1.Lines := F;
end;

martinlind > Hvad er forskellen på din kode og:
Memo1.Lines.LoadFromFile('c:\ditfilnavn'); ?

hvis du læser direkte ind i lines skal du 1. stoppe skræmopdatering og så ved jeg ikke hvad der ellers foregår i en memo, men jeg ved at en TStringList er lynene hurtig til at læse en "flad" fil ind, langt hurtigere en gammeldaws file rutiner :-)

Det er rigtig at TStringList er meget hurtigere til at læse ind, på min computer 2 sek. i forhold til 10 sek. hvis memoen skal indlæse.
Men det gå galt når jeg kører linien:
Memo1.Lines := F;
så hænger programmet, jeg afbrød efter 3 minutter?

Til jaweni: Det er vigtig at du sætter en horizontal scrollbar på eller sætter WordWrap til false da det ellers kan tage 2-3 gange så lang tid hvis der er mange linier der skal deles.

Skal ikke kunne sige hvad der sker når du sætter lines, det plejer ikke at være et problem.

Men jeg bruger TStringList til ALT, den er en rigtig god og flexibel classe

Jeg hader IBMs bærbare! Hvorfor skal de bytte rundt på <ctrl>- og <fn>-tasterne og hvorfor skal de placere <back>- og <forward>-taster klods op ad piletasterne? Sag og bryggede noget klogt sammen og rammer så den forkerte knap. Exit gik det indlæg. Maskinen larmer også. Hvis ikke det var en foræring havde jeg nok en smartere...

Nok om HAL og dens uheldige design.

Hvis din Ur-delphi har en TListView (findes i Win32-fanebladet (unit ComCtrls)) kan du lave et virtuelt listview. Teknikken er at man har en bagvedliggende liste som TListViewet plukker fra når de skal bruges. Hvis listviewet viser 10 linjer tegner den kun de 10. Det er lynende hurtigt og det bruger ikke meget ram. Jeg indlæste 200000 linjer på 156ms, dvs. 1/6 sekund. Hvis data skal vises på skærmen (og ikke editeres) er det den hurtigste måde:

DFM-Filen:
----------
object frmMain: TfrmMain
  Left = 0
  Top = 0
  Caption = 'Virtuel listview'
  ClientHeight = 301
  ClientWidth = 467
  Color = clBtnFace
  Font.Charset = DEFAULT_CHARSET
  Font.Color = clWindowText
  Font.Height = -11
  Font.Name = 'Tahoma'
  Font.Style = []
  OldCreateOrder = False
  OnCreate = FormCreate
  OnDestroy = FormDestroy
  PixelsPerInch = 96
  TextHeight = 13
  object lvData: TListView
    Left = 0
    Top = 41
    Width = 467
    Height = 260
    Align = alClient
    Columns = <
      item
        Caption = 'Data'
        Width = 300
      end>
    OwnerData = True
    RowSelect = True
    TabOrder = 0
    ViewStyle = vsReport
    OnData = lvDataData
    OnDataHint = lvDataDataHint
    ExplicitLeft = 96
    ExplicitTop = 64
    ExplicitWidth = 250
    ExplicitHeight = 150
  end
  object pHeader: TPanel
    Left = 0
    Top = 0
    Width = 467
    Height = 41
    Align = alTop
    BevelOuter = bvNone
    TabOrder = 1
    ExplicitLeft = 160
    ExplicitTop = 24
    ExplicitWidth = 185
    object btnTest: TButton
      Left = 8
      Top = 8
      Width = 75
      Height = 25
      Caption = 'Test'
      TabOrder = 0
      OnClick = btnTestClick
    end
  end
end

PAS-Filen:
----------
unit FMain;

interface

uses
  Windows, Messages, SysUtils, Variants, Classes, Graphics, Controls, Forms,
  Dialogs, ExtCtrls, ComCtrls, StdCtrls;

type
  TfrmMain = class(TForm)
    lvData: TListView;
    pHeader: TPanel;
    btnTest: TButton;
    procedure FormCreate(Sender: TObject);
    procedure FormDestroy(Sender: TObject);
    procedure btnTestClick(Sender: TObject);
    procedure lvDataData(Sender: TObject; Item: TListItem);
    procedure lvDataDataHint(Sender: TObject; StartIndex, EndIndex: Integer);
  private
    fList: TStringList;
  public
  end;

var
  frmMain: TfrmMain;

implementation

{$R *.dfm}

procedure TfrmMain.btnTestClick(Sender: TObject);
var
  TickStart: cardinal;
begin
  TickStart := GetTickCount;
  try
    fList.LoadFromFile('c:\test.txt');
    lvData.Items.Count := fList.Count; // Initiér listview.
  finally
    MessageDlg(format('Indlæst %d linjer på %d ms',[fList.Count,GetTickCount - TickStart]), mtInformation, [mbOK], 0);
  end;
end;

procedure TfrmMain.FormCreate(Sender: TObject);
begin
  fList := TStringList.Create;
end;

procedure TfrmMain.FormDestroy(Sender: TObject);
begin
  lvData.Items.Clear; // Skal også nulstilles igen
  fList.Free;
end;

procedure TfrmMain.lvDataData(Sender: TObject; Item: TListItem);
begin
  Item.Caption := fList[Item.Index];
end;

procedure TfrmMain.lvDataDataHint(Sender: TObject; StartIndex, EndIndex: Integer);
begin
  // Angiver det næste interval der skal vises. Hvis data er cached til disk er det
  // en god idé at hente det ind i hukommelsen her.
  // Min TStringList er allerede der så der er ingen grund til at lave noget her.
end;

end.

--------------- o ---------------

I DFM-filen er der sikkert mange properties din delphi ikke kan håndtere. Det letteste er nok at lave formen, med dens komponenter og derefter kopiere pas-koden ind.

Indlæste 1.500.000 linjer på 8 sekunder; det er tiden det tog TStringList at indlæse. Listviewet foretog sig intet.

I ovenstående destructor bruger jeg

  lvData.Items.Clear;

til at rydde listviewet, så der ikke kommer events til en liste der er blevet frigivet. Det viser sig at det er meget hurtigere at sætte count = 0;

  lvData.Items.Count := 0;

Performance blev betydeligt bedre; men ved store filer
var der lidt ventetid, inden linierne vistes i memoen.

Det skyldes muligvis min maskines ydeevne.