Я пытаюсь прочитать простой текстовый файл, содержащий такие имена: "CASTAÑEDA"
Код в основном такой:
file, err := os.Open("C:/Files/file.txt")
defer file.Close()
if err != nil {
log.Fatal(err)
}
scanner := bufio.NewScanner(file)
for scanner.Scan() {
fmt.Println(scanner.Text())
}
Затем, когда читается «CASTAÑEDA», печатается «CASTAÑEDA».
Есть ли способ обрабатывать эти символы при чтении с помощью bufio?
Спасибо.
cat file.txt? также это может быть неправильная кодировка. 17.04.2015 unicode/utf16) 17.04.2015 Проблема, с которой вы столкнулись, заключается в том, что ваш ввод, скорее всего, не UTF-8 (это то, что ожидают bufio и большинство языков Go/stdlib). Вместо этого ваш ввод, вероятно, использует некоторую расширенную кодовую страницу ASCII, поэтому символы без диакритических знаков проходят чисто (UTF-8 также является надмножеством 7-битного ASCII), но что «Ñ» не передается без изменений.
В этой ситуации битовое представление символа с акцентом не является допустимым UTF-8, поэтому создается символ замены Unicode (U+FFFD). У вас есть несколько вариантов:
os.Stdout.Write(scanner.Bytes()); fmt.Println(); Это может предотвратить интерпретацию байтов как UTF-8 за пределами разделения новой строки. Запись байтов непосредственно в os.Stdout позволит избежать любой (неправильной) интерпретации содержимого.Ваш файл, скорее всего, не UTF-8. Из-за этого (go ожидает, что все строки будут UTF-8) вывод вашей консоли выглядит искаженным. Я бы посоветовал использовать пакеты golang.org/x/text/encoding/charmap и golang.org/x/text/transform в вашем случае, чтобы преобразовать данные файла в UTF-8. Как я мог бы предположить, глядя на путь к вашему файлу, вы работаете в Windows. Таким образом, ваша кодировка символов может быть Windows1252 (если вы редактировали ее, например, с помощью notepad.exe).
Попробуйте что-то вроде этого:
package main
import (
"bufio"
"fmt"
"log"
"os"
"golang.org/x/text/encoding/charmap"
"golang.org/x/text/transform"
)
func main() {
file, err := os.Open("C:/temp/file.txt")
defer file.Close()
if err != nil {
log.Fatal(err)
}
dec := transform.NewReader(file, charmap.Windows1252.NewDecoder()) <- insert your enconding here
scanner := bufio.NewScanner(dec)
for scanner.Scan() {
fmt.Println(scanner.Text())
}
}
Вы можете найти больше кодировок в пакете golang.org/x/text/encoding/charmap, которые вы можете вставить в мой пример по своему вкусу.
transform.NewReader? 17.08.2018 
