대게 대용량 파일을 처리하는 경우 그 파일을 몽땅 메모리에 올려서 처리하지는 않습니다.
그냥 Disk에 냅두고 처리하죠
Disk에 있는데 메모리에 있는것처럼 보는 방법이 있는데...
그건 Memory Mapping File 을 이용하는것입니다.
MemoryMappingFile을 프로세서간 통신(IPC)에도 이용되지만
OS에서 exe나 DLL을 Load할때도 MemoryMappingFile을 이용해 읽습니다.
관련 api 에는
CreateFileMapping
MapViewOfFile
UnmapViewOfFile
GetMappedfilename
OpenFileMapping
등이 있겠네요
참조
http://kylix.borlandforum.com/impboard/impboard.dll?action=read&db=bcb_qna&no=2832
그럼..
이용태 님이 쓰신 글 :
: 바이너리 파일이 있습니다.
:
: 파일 사이즈는...
:
: sizeof(unsigend char)*500*500*1750 = 437500000 bit = 417.2MByte 입니다.
:
: 이 데이터를 한번에 읽어서 메모리에 올릴려고 하는데요...
:
: 다음과 같이 해봤는데... 메모리에 데이터를 복사하는 시간이 5~10초 정도 걸립니다.
:
: //<-- 파일 열고
: pOpenStream->Seek(HEADER_SIZE,soFromBeginning);
: //동적으로 메모리 생성하고
: pFullData = new unsigned char[1750*500*500];
: //파일에서 데이터 읽어온다. 이부분에서 5~10초 정도 걸립니다.
: pOpenStream->Read((void*)pFullData, sizeof(unsigned char)*1750*500*500);
:
: 이것을 좀더 시간을 단축시켜 빨리 메모리에 올릴 수 있는 방법이 있을까요?
:
: 아.. 그리고.. 가끔씩 new로 데이터 메모리 할당할때도 bad_alloc() 어쩌구 저쩌구 하면서 에러가 뜨던데요.. 메모리에 할당을 못해서 뜨는 에러겠죠?
: 제 컴터 메모리가 2G인데... 충분히 용량 남아있는데도 불구하고... 할당 못할때가 있더라구요...
: 이건 또 왜 그런건지요?
:
: 답변 부탁드립니다..
|