ListView1의 이벤트 핸들러 중 OnCompare 에 다음 코드를 작성합니다.

procedure TForm1.DoCompareEvent(Sender: TObject; Item1, Item2: TListItem; Data: Integer;
var Compare: Integer);
var
  Str1, Str2: String;
begin
  Str1 := Item1.Caption;
  Str2 := Item2.Caption;

  if Str1 > Str2 then
    Compare := 1
  else
  if Str1 < Str2 then
    Compare := -1
  else
    Compare := 0;
end;

이젠 버튼을 눌러 소트를 시켜봐야죠.

procedure TForm1.Button1Click(Sender: TObject);
begin
  Listview1.SortType := stText;
  Listview1.SortType := stNone;
end;

샘플 파일을 첨부합니다.
델 7 입니다. 한글 리소스 때문에 델5에선 읽을때 에러가 날 수도 있겠네요.