Delphi out of memory как исправить

Можно работать через TStreamReader и TStreamWriter. При некоторых условиях скорость работы может быть больше до 3х раз, чем по-старинке с readln и writeln:

var
  s:string;
  reader:TStreamReader;
  writer:TStreamWriter;

begin
   reader:=TStreamReader.Create(OpenDialog1.FileName, TEncoding.ANSI); // Если нужна другая кодировка - сменить
   writer := TStreamWriter.Create('out.txt', false,TEncoding.ANSI); // если нужно дописать файл, ставим True вместо false
   while not reader.EndOfStream do
     begin
        s:=reader.ReadLine;
        // делаем, что нужно с s
        writer.WriteLine(s); 
     end;
   // не забываем закрыть оба файла:
   reader.Free;
   writer.Free;
end;

Если же нужно обязательно хранить все строки в памяти, стоит работать через, например, TMemoryStream или TBytesStream, но стоит помнить, что в 32-битном режиме их емкость ограничена чуть менее, чем 2 Гб, а в 64-битном режиме, если надо > 2 Гб, с ними можно нормально работать только, начиная с Delphi Tokyo, или же делать патч.

Go Up to Error and Warning Messages (Delphi)

You get this error when the RAD Studio built-in compiler runs out of memory.

This is a rare error that might occur when you build an extremely large project group of applications and libraries.

To solve this issue, do any of the following:

• Make sure your swap file is large enough and that there is still room on your disk. See Change the size of virtual memory.
• Configure your project group to be built externally to the IDE: Select Project > Options > Delphi Compiler and check the Use MSBuild externally to compile property.

  Note: If you want to be able to debug your app when you build with this option set, the Include remote debug symbols option should also be enabled on Project > Options > Delphi Compiler > Linking.

• Build your project group on the command line.
• Refactor the applications and libraries in your project group to rely more on Delphi packages. Delphi packages do not make the IDE run out of memory.

Re: Увеличить память для приложения (EOutOfMemory)

Здравствуйте, indee, Вы писали:

I>Программа (написанная на Delphi) создает большое количество объектов. Иногда это приводит к Out of memory (EOutOfMemory).
I>Можно ли в Windows выделить больше памяти для выполнения приложения?

Ваше приложение съело всю доступную память?
На моей памяти я видел такое 2 раза, и оба, незадачливый

программист

кодер, грузил огромную таблицу в DevExpress Grid.

В порядке предпочтения осмелюсь предложить.
1) Перепишите логику работы.
2) Задействуйте другой менеджер памяти, с более подходящей для вас стратегией.
3) Переделайте для 64 разрядов.
4) http://bit.ly/ZE1d3S

К прочтению:
Архитектура памяти в Windows
Архитектура памяти в Windows (spin-off)
Адресное пространство под микроскопом

PS. Претензии по ссылкам не принимаются, все были актуальны на момент сохранения.

Увеличить память для приложения (EOutOfMemory)

Программа (написанная на Delphi) создает большое количество объектов. Иногда это приводит к Out of memory (EOutOfMemory).
Можно ли в Windows выделить больше памяти для выполнения приложения?

Спасибо!

Re: Увеличить память для приложения (EOutOfMemory)

{$SETPEFLAGS $0020} // IMAGE_FILE_LARGE_ADDRESS_AWARE = $0020;

http://cc.embarcadero.com/item/24309

В моей практике реально понадобилось 1 раз, когда сторонняя DLL кушала > 1.7 Gb памяти.

… << RSDN@Home 2.2.0 alpha 5 rev. 0>>

Re: Увеличить память для приложения (EOutOfMemory)

Здравствуйте, indee, Вы писали:

I>Программа (написанная на Delphi) создает большое количество объектов. Иногда это приводит к Out of memory (EOutOfMemory).

если количество объектов реально большое и они реально нужны, их надо кэшировать в собственном менеджере памяти, потому как дельфийский можно действительно переполнить за счет сегментации

Re[2]: Увеличить память для приложения (EOutOfMemory)

Здравствуйте, jhfrek, Вы писали:

J>Здравствуйте, indee, Вы писали:

I>>Программа (написанная на Delphi) создает большое количество объектов. Иногда это приводит к Out of memory (EOutOfMemory).

J>если количество объектов реально большое и они реально нужны, их надо кэшировать в собственном менеджере памяти…

Можно подробнее?
Спасибо!

Re[3]: Увеличить память для приложения (EOutOfMemory)

Здравствуйте, indee, Вы писали:

I>Здравствуйте, jhfrek, Вы писали:

J>>Здравствуйте, indee, Вы писали:

I>>>Программа (написанная на Delphi) создает большое количество объектов. Иногда это приводит к Out of memory (EOutOfMemory).

J>>если количество объектов реально большое и они реально нужны, их надо кэшировать в собственном менеджере памяти…

I>Можно подробнее?
I>Спасибо!

Попробуйте менеджеры памяти котрые вам описывали выше. Еще рано писать свой.

Re[3]: Увеличить память для приложения (EOutOfMemory)

Здравствуйте, indee, Вы писали:

I>Можно подробнее?

Я бы все же начал с ответа на вопросы:
Почему? (создается так много объектов)
Зачем? (они все нужны, прямо сейчас, одновременно)

Не зря предложение изменить логику работы идет первым.

Это самый интенсивный способ.
Остальные или отодвигают проблему на потом или решают ее количественно.

Игровые миры содержат огромное количество объектов-полигонов. Однако работают.
Текстовые редакторы редактируют огромные тексты пользуясь небольшим буфером.
Во времена DOS, а там существенные ограничения на память были, 16 бит все-таки, обрабатывали массивы данных ну никак не помещавшиеся в ОЗУ, вытесняли не используемые страницы на диск.

Re[3]: Увеличить память для приложения (EOutOfMemory)

Здравствуйте, indee, Вы писали:

J>>если количество объектов реально большое и они реально нужны, их надо кэшировать в собственном менеджере памяти…
I>Можно подробнее?

к примеру

код где цепочка циклов символизирует глубокую вложенность процедуры где очень много раз выделяется память

for i := 1 to 10000000 do
  for j := 1 to 1000000 do
    ...
      for k := 0 ro 100000 do begin
        getmem(sizeof(integer))
        ....
        freemem()
      end

меняем на array of pointer := getmem(sizeof(integer) * большое число), а вместо getmem(), freemem() пишем inc/dec (указатель на свободное место в массиве)

ЗЫ. видел код где Assign производился через последовательность object.Free; object.CreateCopy(newObject). Банальный рефакторинг сильно уменьшил нагрузку на менеджер памяти. Так что я бы сильно поанализировал, прежде чем заниматься оптимизацией менеджера.
ЗЗЫ. Еще встречал когда динамические массивы в цикле мучили SetLength(array, Length(array) + 1)…

Re: Увеличить память для приложения (EOutOfMemory)

Здравствуйте, indee, Вы писали:

I>Программа (написанная на Delphi) создает большое количество объектов. Иногда это приводит к Out of memory (EOutOfMemory).
I>Можно ли в Windows выделить больше памяти для выполнения приложения?

I>Спасибо!

OS Windows XP, 4GB RAM, Task Manager показывает, что использовано 60% памяти, приложение съело не более 250MB и Out of memory (EOutOfMemory)…
Почему не доступна для приложения оставшаяся свободная память Windows?

Re[2]: Увеличить память для приложения (EOutOfMemory)

Здравствуйте, indee, Вы писали:

I>OS Windows XP, 4GB RAM, Task Manager показывает, что использовано 60% памяти, приложение съело не более 250MB и Out of memory (EOutOfMemory)…
I>Почему не доступна для приложения оставшаяся свободная память Windows?

Возможно, ему нужен большой непрерывный кусок

Re[2]: Увеличить память для приложения (EOutOfMemory)

Здравствуйте, glh, Вы писали:

glh>Здравствуйте, indee, Вы писали:

I>>Программа (написанная на Delphi) создает большое количество объектов. Иногда это приводит к Out of memory (EOutOfMemory).
I>>Можно ли в Windows выделить больше памяти для выполнения приложения?

glh>Ваше приложение съело всю доступную память?

Я был бы рад, если приложение съест всю доступную память…

Re[3]: Увеличить память для приложения (EOutOfMemory)

Здравствуйте, indee, Вы писали:

I>Здравствуйте, glh, Вы писали:

glh>>Здравствуйте, indee, Вы писали:

I>>>Программа (написанная на Delphi) создает большое количество объектов. Иногда это приводит к Out of memory (EOutOfMemory).
I>>>Можно ли в Windows выделить больше памяти для выполнения приложения?

glh>>Ваше приложение съело всю доступную память?

I>Я был бы рад, если приложение съест всю доступную память…

Какой делфи и менеджер памяти?

Re[2]: Увеличить память для приложения (EOutOfMemory)

Здравствуйте, indee, Вы писали:

I>OS Windows XP, 4GB RAM, Task Manager показывает, что использовано 60% памяти, приложение съело не более 250MB и Out of memory (EOutOfMemory)…
I>Почему не доступна для приложения оставшаяся свободная память Windows?

попробуйте тупо прописать fastmm и посмотрите что получится

Re[2]: Увеличить память для приложения (EOutOfMemory)

Здравствуйте, indee, Вы писали:

I>OS Windows XP, 4GB RAM, Task Manager показывает, что использовано 60% памяти, приложение съело не более 250MB и Out of memory (EOutOfMemory)…

250 мб — это совсем не много. Дело в чём-то другом. Попробуй создать лог создания/уничтожения и посмотри что создаётся и от чего падает.

Re[4]: Увеличить память для приложения (EOutOfMemory)

Здравствуйте, BlackEric, Вы писали:

BE>Здравствуйте, indee, Вы писали:

I>>Здравствуйте, glh, Вы писали:

glh>>>Здравствуйте, indee, Вы писали:

I>>>>Программа (написанная на Delphi) создает большое количество объектов. Иногда это приводит к Out of memory (EOutOfMemory).
I>>>>Можно ли в Windows выделить больше памяти для выполнения приложения?

glh>>>Ваше приложение съело всю доступную память?

I>>Я был бы рад, если приложение съест всю доступную память…

BE>Какой делфи и менеджер памяти?

Delphi 7, менеджер памяти по умолчанию (Borland MM?)

Re[3]: Увеличить память для приложения (EOutOfMemory)

Здравствуйте, Dimonka, Вы писали:

D>Здравствуйте, indee, Вы писали:

I>>OS Windows XP, 4GB RAM, Task Manager показывает, что использовано 60% памяти, приложение съело не более 250MB и Out of memory (EOutOfMemory)…

D>250 мб — это совсем не много. Дело в чём-то другом. Попробуй создать лог создания/уничтожения и посмотри что создаётся и от чего падает.

Проверял, построчно проверял утечку создания/уничтожения — все не очень плохо.
Плохо то, что я не могу создать большое кол-во «жирных» обjектов.

Зачем покупать 4Gb на WinXP32, если при 1Gb все так же валится, не зависимо от объема свободной памяти.

Re[5]: Увеличить память для приложения (EOutOfMemory)

Здравствуйте, indee, Вы писали:

BE>>Какой делфи и менеджер памяти?

I>Delphi 7, менеджер памяти по умолчанию (Borland MM?)

Ему нужна непрерывная память для выделения. Попробуйте использовать FastMM.
Или выделяйте при старте память с запасом, а потом работайте с этим участком

Re[4]: Увеличить память для приложения (EOutOfMemory)

Здравствуйте, indee, Вы писали:

I>Проверял, построчно проверял утечку создания/уничтожения — все не очень плохо.
I>Плохо то, что я не могу создать большое кол-во «жирных» обjектов.

Может тогда скажешь что за обьекты? Может другие идеи появятся как помочь?
«Жирные обьекты» можно разбивать на несколько менее жирных, либо проецировать в memory mapped files.

Re[6]: Увеличить память для приложения (EOutOfMemory)

Здравствуйте, BlackEric, Вы писали:

BE>Здравствуйте, indee, Вы писали:

BE>>>Какой делфи и менеджер памяти?

I>>Delphi 7, менеджер памяти по умолчанию (Borland MM?)

BE>Ему нужна непрерывная память для выделения. Попробуйте использовать FastMM.
BE>Или выделяйте при старте память с запасом, а потом работайте с этим участком

Спасибо за совет!

С FastMM все работает гараздо лучше, там где приложение ело 200Мб, сейчас всего 8Мб.

Re[7]: Увеличить память для приложения (EOutOfMemory)

Здравствуйте, indee, Вы писали:

I>Здравствуйте, BlackEric, Вы писали:

BE>>Здравствуйте, indee, Вы писали:

BE>>>>Какой делфи и менеджер памяти?

I>>>Delphi 7, менеджер памяти по умолчанию (Borland MM?)

BE>>Ему нужна непрерывная память для выделения. Попробуйте использовать FastMM.
BE>>Или выделяйте при старте память с запасом, а потом работайте с этим участком

I>Спасибо за совет!

I>С FastMM все работает гараздо лучше, там где приложение ело 200Мб, сейчас всего 8Мб.

Я бы все же посоветовал взглянуть на архитектуру под другим углом. FastMM, в данном случае, — это «лечение симптомов», а не решение проблемы. Если при этом Вы не самостоятельно работаете активно с памятью, то, возможно, работаете, например, со стоками или с классом TStringList (возможно, неявно).

Re[2]: Увеличить память для приложения (EOutOfMemory)

Здравствуйте, indee, Вы писали:

I>Здравствуйте, indee, Вы писали:

I>>Программа (написанная на Delphi) создает большое количество объектов. Иногда это приводит к Out of memory (EOutOfMemory).
I>>Можно ли в Windows выделить больше памяти для выполнения приложения?

I>>Спасибо!

I>OS Windows XP, 4GB RAM, Task Manager показывает, что использовано 60% памяти, приложение съело не более 250MB и Out of memory (EOutOfMemory)…
I>Почему не доступна для приложения оставшаяся свободная память Windows?

Фрагментация памяти. FastMM спасет, но лучше все же разобраться с болезнью, а не с симптомами.

Hey there,

I needed a code to act like a bruteforcer so I found one, but the problem is I don’t want to use TStringList, so I replaced it with array of strings and added some modifications.
The problem is when I run the code, after a certain time I get «Out Of Memory» error.

I hope someone can show me where is my error, I use FreeMem and SetLength to free the array of string each iteration.
Code is below..

Regards

function   bruteforce(astring:   string  ;substr:   string  ;  startlen: integer;
endlen: integer): LongInt; 
var   i,n,x: integer;
bi,bc,br:integer;
npw:   string  ;
counter:integer;
bhlplst: array of string;
bcluster : array of string;
bresults : array of string;
label   step1;
begin
bi := 0;
bc := 0;
br := 0;
//hlplst := TStringList.Create;    //The left column
//cluster := TStringList.Create;   //The middle section
//results := TstringList.Create;   //The combinations created
for   x := 1   to   length(substr)   do begin
//hlplst.Add(substr[x]);
SetLength(bhlplst, bi + 1);
bhlplst[bi] := substr[x];
Inc(bi);
end  ;
 
step1:
for   i := 0   to   {hlplst.Count}bi - 1   do begin
for   n := 1   to   length(astring)   do begin
//npw := hlplst.strings[i]+astring[n];
npw := bhlplst[i] +  astring[n];
//cluster.Add(npw);
 
SetLength(bcluster, bc + 1);
 
bcluster[bc] := npw;
 
Inc(bc);
 
 
if   length(npw) >= startlen   then
begin
//results.Add(npw);
//SetLength(bresults,br + 1);
//bresults[br] := npw;
//Inc(br);
Form1.Memo1.Lines.Add(npw);
end;
end  ;
end  ;
//hlplst.clear;
bi := 0;
SetLength(bhlplst, bi);
FreeMem(bhlplst);
//hlplst.addstrings(cluster);
SetLength(bhlplst, bc );
for counter := 0 to bc - 1 do
begin
bhlplst[bi] := bcluster[counter];
Inc(bi);
end;
//cluster.Clear;
bc := 0;
SetLength(bcluster, bc);
FreeMem(bcluster);
if   length(npw) + 1 <= endlen   then     goto   step1;
//hlplst.Clear;
bi := 0;
SetLength(bhlplst,bi);
FreeMem(bhlplst);
result := 0;
end  ;

Open in new window