| Форумы
ЧАТ |
Орешник |
|
| Форумы -» | Основная («Начинающим»)/ Базы / WinAPI / Компоненты / Сети / Media / Игры / Corba и COM / KOL / FreePascal / .Net / Прочее / RSDN.ORG |
|
| ||
|
|
Новости |
Поиск |
FAQ |
Статьи |
Книги |
Новости VCL
| | Форумы ЧАТ |
Орешник |
|
| |||
| |||
| |||
« предыдущая ветвь | форум | следующая ветвь »
Stream2Stream на АСМе? [Delphi, Windows]
andreil © (2008-03-20 17:56:00)Никто не знает, где такое можно найти? А то всю работу тормозит, тк работа идет только с кусочками по 8Кб, большие нельзя - а вдруг попадешь на фрагментированный кусок, тогда будет плохо ;) Если сделать этоже чтение блоками по 512Кб, скорость сразу нормальная, до максимума (20Мб/с), а так - 800Кб/с :(
andreil (2008-03-22 19:29:00) [1]Сорри, наговорил :( Это все из-за общего файлового потока. Как только сделал для каждого потока свой файловый поток, все заработало.
СЭНКС!
ЗЫ: буду тестировать скорость :)
andreil (2008-03-22 19:15:00) [2]Поправка: даже с БРЭК-ПОИНТОМ только 10 проходов успешны, затем - таже ошибка.
andreil (2008-03-22 19:13:00) [3]Два прохода потоков завершились удачно, но потом второй поток вылетает (на третьем запуске). Если в нем поставить хоть одну БРЭК-ПОИТ, то все ОК, а без нее - "acces violation at 0xfeeefeee, Read of address 0xfeeefeee" :( попробую разобраться...
andreil (2008-03-22 18:23:00) [4]Спасибо :) Буду проверять :)
MTsv DN (2008-03-22 17:50:00) [5]
TForm1=...
public
function ReadThread1Execute(Sender: PThread): Integer;
function ReadThread2Execute(Sender: PThread): Integer;
end;
var
ReadThread1, ReadThread2 : PThread;
R1Stop, R2Stop : boolean;
function TForm1.ReadThread1Execute(Sender: PThread): Integer;
begin
pb1.MaxProgress := 1000;
pb1.Progress := 0;
repeat
Form1.pb1.Progress := Form1.pb1.Progress + 1;
Form1.pb1.ProcessMessages;
until Form1.pb1.Progress >= Form1.pb1.MaxProgress;
R1Stop := true;
ReadThread1.Terminate;
end;
function TForm1.ReadThread2Execute(Sender: PThread): Integer;
begin
pb2.MaxProgress := 10000;
pb2.Progress := 0;
repeat
pb2.Progress := pb2.Progress + 1;
pb2.ProcessMessages;
until pb2.Progress = pb2.MaxProgress;
R2Stop := true;
ReadThread2.Terminate;
end;
procedure TForm1.Button1Click(Sender: PObj);
begin
R1Stop := false;
R2Stop := false;
ReadThread1 := NewThreadEx(Form1.ReadThread1Execute);
ReadThread1.Resume;
ReadThread2 := NewThreadEx(Form1.ReadThread2Execute);
ReadThread2.Resume;
repeat
Form1.Form.ProcessMessages;
until R1Stop and R2Stop;
Free_And_Nil(ReadThread2);
Free_And_Nil(ReadThread1);
end;
Вот так работает... Мне правда не нравится:
repeat
Form1.Form.ProcessMessages;
until R1Stop and R2Stop;
Но ничего повеселее я придумать не смог...
MTsv DN (2008-03-22 17:19:00) [6]
TForm1=...
public
function ReadThread1Execute(Sender: PThread): Integer;
function ReadThread2Execute(Sender: PThread): Integer;
end;
var
ReadThread1, ReadThread2 : PThread;
...
function TForm1.ReadThread1Execute(Sender: PThread): Integer;
var
S : PStream;
begin
S := NewReadFileStream('blablabla.gfc');
S.Position := 0;
цикл отS.Position до определенного места файла;
Free_And_Nil(S);
ReadThread1.Terminate;
end;
function TForm1.ReadThread2Execute(Sender: PThread): Integer;
var
S : PStream;
begin
S := NewReadFileStream('blablabla.gfc');
S.Position := определенное место файла;
цикл от S.Position до конца файла;
Free_And_Nil(S);
ReadThread2.Terminate;
end;
procedure TForm1.Button1Click(Sender: PControl);
begin
ReadThread1 := NewThreadAutoFree(Form1.ReadThread1Execute);
ReadThread2 := NewThreadAutoFree(Form1.ReadThread2Execute);
ReadThread1.Resume;
ReadThread2.Resume;
repeat
ReadThread1.WaitForTime(1000);
until ReadThread1.Terminated and ReadThread2.Terminated;
Free_And_Nil(ReadThread2);
Free_And_Nil(ReadThread1);
end;
Ну, попробуй это... Хотя хрен знает будет работать или нет...
andreil (2008-03-22 16:21:00) [7]
> Попробуйте разбить считывание на 2 потока...
Знал бы как, разбил бы
exero (2008-03-22 16:07:00) [8]Ну и кто виноват )) Stream2Stream или корявый алгоритм )). По моему скорость будет увеличиваться с ростом буфера.
MTsv DN (2008-03-22 15:52:00) [9]Я понимаю так:
1. Если Вы читаете по 512 кБ, то все в норме (я имею в виду скорость) Условно обозначим число вызовов Stream2Stream = Х, также Х - это число обращений к диску...
2. Если Вы читаете по 8 кБ то получается Х*64 (относительно п.1) вызовов Stream2Stream и обращений - естесссна скорость упала...
3. Если вы забиваете буфер до 256 кБ, то Х*2 (относительно п.1) - вызовов Stream2Stream и X*64 (относительно п.1) - обращений к диску - и скорость возросла...по-моему это доказывает, что Stream2Stream работает как надо, а вот снижение скорости результат постоянного обращения к диску...что в принципе тоже понятно...
Попробуйте буфер забивать до 512 кБ и сравните скорости - это раз...
Попробуйте отключить визуальные эффекты типа обновление PB и прочего...и сравните скорость...
Попробуйте разбить считывание на 2 потока...
andreil (2008-03-22 15:18:00) [10]Это я уже пробовал. Работает чуть быстрее, но представь себе ситуаций, когда распаковывается файл на 60Мб - работать будут еще дольше.
Я сделал так: считываем кусочками по 8Кб до заполнения буфера (256Кб) либо до конца файла, затем сбрасываем буфер на диск. Итого - скорость выросла до 7Мб/с на самых запаренных участках, а было около 1-2Мб/с. К примеру, распаковка 13Гб файлов, фрагментация которых была намного выше среднего (слишком много обновлений :( ) длилиась всего 40минут со средней скоростью 9Мб/с (правда должна быть 25Мб/с - предел моего винчестера).
Dimaxx (2008-03-22 12:59:00) [11]Тогда тебе надо читать свои куски в memorystream, а потом разом записывать все это в файл.
andreil (2008-03-22 09:46:00) [12]Вот сырцы - http://ifolder.ru/5832852.Если разберетесь, то можете помочь :)
ЗЫ: Тормоз находится в строке 676 (или около того).
ЗЫЫ: А фрагментация там выражена тем, что есть таблицы секторов для каждого файла. Размер одного сектора - 8Кб. А в таблице секторов нередко встречаются вот такие вот случаи:
SectorsTable[FileHandle]=(300, 4, 46, 35, ....)
Так что чтение кусками более 8Кб часто приводит к битию файлов :(
=BuckLr= (2008-03-21 16:32:00) [13]Думаеццо, винт не пластинка, стало быть, потоку по барабану, фрагментированы файлы, или нет. Битые файлы получаются, скорее всего, из-за твоего алгоритма. Исходник, что ли, выложи...
Palladin (2008-03-21 15:15:00) [14]
> Кусками по 512 кб НЕЛЬЗЯ, тк файлы ФРАГМЕНТИРОВАННЫЕ,
расскажи мне пожалуйста, что такое ФРАГМЕНТИРОВАННЫЕ файлы... просвяти старика...
andreil (2008-03-21 13:36:00) [15]
> Бред. Тему можно закрывать, хочется человеку фигней заниматься,
> пускай.
Не знаешь, с какими файлами я работаю, не лезь. Я уже изучил с 0 прочти весь формат файлов GCF (Steam), но все дело стопорится на скорости чтения.
mdw (2008-03-21 13:24:00) [16]
> Кусками по 512 кб НЕЛЬЗЯ, тк файлы ФРАГМЕНТИРОВАННЫЕ, и
> если буду читать кусками по 512Кб, то на выходе получатся
> битые файлы!!!!!!
Бред. Тему можно закрывать, хочется человеку фигней заниматься, пускай.
andreil (2008-03-21 13:09:00) [17]Кусками по 512 кб НЕЛЬЗЯ, тк файлы ФРАГМЕНТИРОВАННЫЕ, и если буду читать кусками по 512Кб, то на выходе получатся битые файлы!!!!!!
exero (2008-03-21 11:19:00) [18]2 andreil еще раз повторяю тормозит не Stream2Stream, a твой способ. Хоть иногда слушай, что другие говорят.
Dimaxx (2008-03-21 01:25:00) [19]
> работа идет только с кусочками по 8Кб, большие нельзя -
> а вдруг попадешь на фрагментированный кусок
Откуда этот бред? Вот в таком режиме у тебя скорость и будет минимальная. Копируй кусками 512 кб раз скорость нормальная.
andreil (2008-03-20 20:24:00) [20]алгоритм - простой цикл, в нем вначале узнаем, с какого сектора читать, потом само чтение и потом - внешние признаки работы (прогрессбар двигается, счетчик тикает и тп). Если закоментировать строку с "Stream2Stream", то скорость ограничивается скоростью процессора, но работы программы нету :(
| |
Страницы: 