java.lang.OutOfMemoryError при чтении файла в массив byte[]

Несколько предложений:

1. Вам не нужно создавать построитель строк. Вы можете напрямую читать байты из файла.
2. Если вы читаете несколько файлов, проверьте, остались ли в памяти массивы byte[], даже если они не требуются.
3. Наконец, увеличьте максимальный объем памяти для вашего Java-процесса, используя параметр -Xmx.

Поскольку мы знаем размер этого файла, примерно половину памяти можно сэкономить, выделив массив байтов заданного размера напрямую, а не расширив его:

byte [] data = new byte[ (int) file.length() ];
FileInputStream fin = new FileInputStream(file);
int n = 0;
while ( (n = fin.read(data, n, data.length() - n) ) > 0);

Это позволит избежать выделения ненужных дополнительных структур. Массив байтов выделяется только один раз и имеет правильный размер с самого начала. Цикл while обеспечивает загрузку всех данных ( read(byte[], offset, length) может читать только часть файла, но возвращает количество прочитанных байтов).

Пояснение: когда StringBuilder заканчивается, он выделяет новый буфер, который в два раза больше исходного буфера. На данный момент мы используем примерно в два раза больше памяти, чем было бы минимально необходимо. В самом вырожденном случае (один последний байт не помещается в какой-то и без того большой буфер) может потребоваться почти в три раза больше минимального объема оперативной памяти.

Если у вас недостаточно памяти для хранения всего файла, вы можете попробовать переосмыслить свой алгоритм для обработки данных файла во время его чтения, не создавая большой массив данных byte[].

Если вы уже пробовали увеличить java память, играя с параметром -Xmx, то нет никакого решения, которое позволит вам хранить в памяти данные, которые не могут быть там размещены из-за ее большого размера.

Это похоже на File to byte[] в Java

В настоящее время вы читаете байты, конвертируете их в символы, а затем пытаетесь превратить их обратно в байты. Из класса InputStreamReader в Java API:

InputStreamReader — это мост от потоков байтов к потокам символов: он считывает байты и декодирует их в символы.

Было бы намного эффективнее просто читать в байтах.

Один из способов — использовать ByteArrayInputStream непосредственно на context.openFileInput() или Jakarta Commons IOUtils.toByteArray(InputStream), или, если вы используете JDK7, вы можете использовать Files.readAllBytes(Path).

«Чище и быстрее» — вообще не делать этого. Это не масштабируется. Обрабатывайте файл по частям.

Вы копируете байты в char (которые используют вдвое больше места) и снова обратно в байты.

InputStream in = context.openFileInput("data.txt");
ByteArrayOutputStream bais = new ByteArrayOutputStream();
byte[] bytes = new byte[8192];
for(int len; (lne = in.read(bytes) > 0;)
   bais.write(bytes, 0, len);
in.close();
return bais.toByteArray();

Это вдвое уменьшит потребность в памяти, но все равно может означать, что вам не хватает памяти. В этом случае вы должны либо

• увеличить максимальный размер кучи
• обрабатывать файл постепенно, а не все сразу
• используйте файлы с отображением памяти, которые позволяют вам «загружать» файл без использования большого количества кучи.

Это решение будет проверять свободную память перед загрузкой...

File test = new File("c:/tmp/example.txt");

    long freeMemory = Runtime.getRuntime().freeMemory();
    if(test.length()<freeMemory) {
        byte[] bytes = new byte[(int) test.length()];
        FileChannel fc = new FileInputStream(test).getChannel();
        MappedByteBuffer mbb = fc.map(FileChannel.MapMode.READ_ONLY, 0, (int) fc.size());

        while(mbb.hasRemaining()) {
            mbb.get(bytes);
        }
        fc.close();
    }