Nano Hash - криптовалюты, майнинг, программирование

Как определить, форматирован файл или нет?

Способ, которым я пользуюсь, следующий. Я пытаюсь открыть файл в формате по умолчанию и проверить его чтение. Если не удалось (ошибка или достижение конца файла), то неформатированный. Но это не дает мне уверенности в типах файлов, в конце концов, почему неформатированный файл не дает форматированного чтения, а форматированный файл дает неудачное неформатированное чтение. Я ожидаю, что неформатированный файл, прочитанный как отформатированный, скорее всего, вернет ошибку, но не гарантируется, форматированный файл, прочитанный как неформатированный, даст странные вещи, но не ошибку (тестовый код фактически возвращает конец файла). Есть ли лучшие способы проверить тип файла?

29.07.2016

  • Какой контекст означает, что вам нужно обнаружить это из содержимого файла? 29.07.2016
  • Это зависит от того, что вы ожидаете от содержимого файлов. Отформатированные файлы должны содержать текст, поэтому вы можете проверить это, если не ожидаете, что неформатированные файлы будут содержать текст. 29.07.2016
  • Может быть, самый надежный и простой способ — открыть файл одним способом и попробовать прочитать, если не получится, то надо другим способом. @lanH, раньше я выводил как отформатированный файл, но в последнее время он слишком большой, поэтому я хочу изменить его на неформатированный, поэтому мне нужно автоматически определить, какой тип включить обратную совместимость. 29.07.2016
  • что меня смущает, так это то, что я читал из книги Меткалфа и Рида на фортране, говоря, что каждый оператор чтения извлекает запись из файла (который, я полагаю, генерируется оператором записи), тогда я должен быть в состоянии сделать вывод, основанный на успехе одного чтения. Но оказывается, что он достигнет конца файла, когда форматированный файл будет прочитан как неформатированный. Любая идея по этому поводу? 29.07.2016
  • конец файла - это ошибка, поэтому нет смысла говорить не ошибка, а конец файла. В любом случае, может быть полезно показать, как выглядит ваш старый отформатированный файл, и первый оператор read 30.07.2016

Ответы:


1

Один из подходов состоит в том, чтобы назвать файлы логическим образом. Лично я использую .dat, .txt или .csv для форматированных данных и .bin для двоичных данных. Если у вас нет сотен файлов, то, возможно, вы можете просто открыть их в редакторе и посмотреть, как это выглядит?

29.07.2016

2

Краткий ответ

Отформатированный файл содержит в основном ASCII. Процессоры и реализации позволяют вам иметь не ascii, запись их в файл - это нормально, но их чтение обратно может быть проблемой, если читать в отформатированном виде. Предполагая, что ваши отформатированные файлы содержат только символы ASCII и что ваш неформатированный файл не ограничен текстом, следующая подпрограмма выполнит эту работу.

!
subroutine detect_format(fName)
    character(*), intent(in) :: fName
    integer :: fId, stat
    character :: c
    logical :: formatted
    !
    stat = 0
    formatted = .true. !assume formatted
    open(newunit=fId,file=fName,status='old',form='unformatted',recl=1)
    ! I assume that it fails only on the end of file
    do while((stat==0).and.formatted)
        read(fId, iostat=stat)c
        formatted = formatted.and.( iachar(c)<=127 )
    end do
    if(formatted)then
        print*, trim(fName), ' is a formatted file'
    else
        print*, trim(fName), ' is an unformatted file'
    end if
    close(fId)
    !
end subroutine detect_format

Если ваш неформатированный файл содержит только символы, эта процедура не поможет. В любом случае, нет никакой разницы между файлом форматированных и неформатированных символов, если только это не форматированный файл с переменным размером записи. В этом особом случае вы можете поймать его с сохраненным размером записи.

Вы можете использовать некоторые эвристики, чтобы упростить его. Например, вы можете сказать, что считаете его ASCII, если первые 100 байтов являются ASCII. Или вы можете сказать, что считаете это ASCII, если более 80% - это ASCII. Подпрограмму можно упростить, используя потоковый ввод-вывод.

Длинный ответ

Прежде всего необходимо понять: - внутреннее представление данных в памяти компьютера (оперативная память, диск и т.д.); - внешнее представительство; - а также разница между ними. Во-вторых, нужно понять разницу между форматированными и неформатированными файлами в Фортране.

  1. Внутреннее и внешнее представление данных в памяти компьютера.

Под внутренним представлением я подразумеваю форму, в которой ЦП обрабатывает данные. Это двоичное представление. Во внутреннем представлении вы должны знать тип данных, чтобы придать им значение. Под внешним представлением я подразумеваю глифы, которые печатаются на вашем экране или на бумаге вашего принтера. Например, если мы обрабатываем только числа, глифы — это символы (0, 1, 2, ..., 9) для языков, основанных на латинице, (I, II, III, IV, X, ...) для языков. Римский. Перейдите по этой ссылке, чтобы посмотреть глифы на других языках. Я немного отклоняюсь от того, что определяет стандарт фортрана, но это сделано для целей перехода. Стандарт Фортрана использует только символы (0, 1, 2, ..., 9), но некоторые реализации учитывают десятичный разделитель, который может быть либо запятой, либо точкой. Человеческий мозг способен понять, что это такое, глядя на внешнее представление. Между внутренним представлением и внешним представлением есть промежуточное представление, которое помогает человеку и компьютеру понять друг друга. И именно эта форма делает разницу между форматированными и неформатированными файлами в фортране. Эта промежуточная форма является внутренним представлением внешнего представления компьютера (компьютер не хранит глиф, он рисует его только по запросу, когда вы хотите его увидеть). Как компьютерное представление, промежуточная форма является двоичной, но имеет соответствие 1:1 с внешним представлением (глифами).

Единицей хранения в информатике является байт. Некоторым нравится выходить на уровень бит, но это не обязательно. Хранилище данных в памяти компьютера — это просто строки байтов. Сам байт представляет собой строку из 8 битов, а это означает, что существует 256 возможных значений, которые может хранить байт. Далее байты обычно группируются по 4 или 8 (раньше это называли словом). Теперь любой байт или группа байтов имеет смысл только в том случае, если вы знаете тип содержащихся в них данных. Вы можете обрабатывать одну и ту же строку из 4 байтов как 4-байтовое целое число, 4-байтовое число с плавающей запятой IEEE, строку из 4-байтовых символов и т. д. Если вы обрабатываете 4-байтовые числа (целые или IEEE с плавающей запятой), внутреннее представление позволяет байту принимать все возможные 256 значений (за исключением очень немногих, которые используются для определения маркеров NaN Inf и т. д., но они все еще являются значениями). Если вы обрабатываете английский текст (ASCII), внутреннее представление позволяет byte принимать только первые 127 значений. Что касается внешнего представления, то все должно быть превращено в глиф: и цифры, и символы. Промежуточное представление должно сопоставлять числа с глифами. Каждое число должно быть превращено в строку цифр. Поскольку цифра также является символом ASCII, все ограничивается 127 значениями байтов. Это ключ к определению содержимого вашего файла.

  1. Фортран форматированные и неформатированные файлы

Когда дело доходит до фортрана, он в основном использует форматированные файлы для удобочитаемого контента. Содержимое файла будет промежуточным представлением, ограниченным ASCII для английского языка. Неформатированные файлы представляют собой двоичное или внутреннее представление данных по мере их обработки в ЦП. Это как дамп оперативной памяти.

Теперь, чтобы обнаружить содержимое с помощью современного компилятора fortran, вам просто нужно открыть файл и прочитать его байт за байтом и проверить, содержит ли он только ASCII. Если вы получаете не ASCII, у вас есть неформатированный файл, в противном случае у вас есть отформатированный файл. Побайтовое чтение можно выполнить с помощью потокового ввода-вывода в современных компиляторах или записи фиксированного размера по 1 байту каждая. Последний используется в примере.

Я должен добавить, что жизнь не так проста. Эта процедура дает только высокую вероятность, а не точную правду. То, что все находится в диапазоне ASCII, не гарантирует, что это автоматические символы. Если у вас есть символьный файл, то неважно, отформатирован ли он или записан фиксированный размер без форматирования, он будет содержать ASCII.

29.07.2016
  • Есть ли что-то вроде флага в файле для чтения, который быстро показывает, отформатирован он или не отформатирован? Есть ли причина, по которой этот флаг не предусмотрен стандартом fortran? 30.12.2016
  • К сожалению, мне ничего не известно. 31.12.2016
  • Новые материалы

    Кластеризация: более глубокий взгляд
    Кластеризация — это метод обучения без учителя, в котором мы пытаемся найти группы в наборе данных на основе некоторых известных или неизвестных свойств, которые могут существовать. Независимо от..

    Как написать эффективное резюме
    Предложения по дизайну и макету, чтобы представить себя профессионально Вам не позвонили на собеседование после того, как вы несколько раз подали заявку на работу своей мечты? У вас может..

    Частный метод Python: улучшение инкапсуляции и безопасности
    Введение Python — универсальный и мощный язык программирования, известный своей простотой и удобством использования. Одной из ключевых особенностей, отличающих Python от других языков, является..

    Как я автоматизирую тестирование с помощью Jest
    Шутка для победы, когда дело касается автоматизации тестирования Одной очень важной частью разработки программного обеспечения является автоматизация тестирования, поскольку она создает..

    Работа с векторными символическими архитектурами, часть 4 (искусственный интеллект)
    Hyperseed: неконтролируемое обучение с векторными символическими архитектурами (arXiv) Автор: Евгений Осипов , Сачин Кахавала , Диланта Хапутантри , Тимал Кемпития , Дасвин Де Сильва ,..

    Понимание расстояния Вассерштейна: мощная метрика в машинном обучении
    В обширной области машинного обучения часто возникает необходимость сравнивать и измерять различия между распределениями вероятностей. Традиционные метрики расстояния, такие как евклидово..

    Обеспечение масштабируемости LLM: облачный анализ с помощью AWS Fargate и Copilot
    В динамичной области искусственного интеллекта все большее распространение получают модели больших языков (LLM). Они жизненно важны для различных приложений, таких как интеллектуальные..