そんなときには MemoryMappedFile を使うのが常套手段です。

java.nio.channels.FileChannel#map メソッドでファイルをマップすることができます。
マップする領域もヒープではなく、JNI で直接メモリを確保するので、ヒープ領域のサイズを気にすることもありません。

また、マップした後は java.nio.ByteBuffer として扱えるので、RandomAccessFileに比べたら検索のスピードは段違いです。 
		

try{
	File file = new File("C:/40M.file");
	//File file = new File("C:/1M.file");
	
	//FileChannelの作成
	RandomAccessFile raf = new RandomAccessFile(file,"r");
	FileInputStream fis = new FileInputStream(file);
	FileChannel fch = raf.getChannel();
	
	//memoryMappingの作成 マッピングモード,position,size
	MappedByteBuffer mapbuf = fch.map(MapMode.READ_ONLY, 0, raf.length());
	
	//読み込みテスト
	long start,end;
	
	//RandomAccessFile
	//1byteずつ読み込み。
	System.out.println("***** RandomAccess");
	System.out.println("\t0 → "+raf.length());
	start = System.currentTimeMillis();
	while(raf.getFilePointer() < raf.length())
		raf.read();
	end = System.currentTimeMillis();
	System.out.println("\t 掛かった時間："+(end - start)+"ms.");
	System.out.println("*****");
	
	//あらかじめ読み込みファイルサイズ分のbyte配列に値を格納してから走査
	System.out.println("***** Bytes");
	System.out.println("\t0 → "+mapbuf.capacity());
	start = System.currentTimeMillis();
	byte bytes[] = new byte[fis.available()];
	fis.read(bytes);
	for(int cnt=0, i=0;cnt < bytes.length;cnt++)
		i = bytes[cnt];
	end = System.currentTimeMillis();
	System.out.println("\t 掛かった時間："+(end - start)+"ms.");
	System.out.println("*****");
	
	//MappedByteBuffer
	//メモリ領域を直接走査
	System.out.println("***** MappedByteBuffer");
	System.out.println("\t0 → "+mapbuf.capacity());
	start = System.currentTimeMillis();
	while(mapbuf.position() < mapbuf.capacity())
		mapbuf.get();
	end = System.currentTimeMillis();
	System.out.println("\t 掛かった時間："+(end - start)+"ms.");
	System.out.println("*****");		
	
	//close
	fch.close();
	fis.close();
	raf.close();
	
	}catch(Exception e){
		e.printStackTrace();
	}