Nokogiri, open-uri и символы Unicode

Когда вы говорите «выглядит так», вы просматриваете это значение IRB? Он будет экранировать символы диапазона, отличные от ASCII, с экранированием в стиле C последовательностей байтов, которые представляют символы.

Если вы напечатаете их с помощью puts, вы получите их обратно, как и ожидали, предполагая, что ваша консоль оболочки использует ту же кодировку, что и рассматриваемая строка (по-видимому, в этом случае UTF-8, на основе двух байтов, возвращенных для этого символа) . Если вы сохраняете значения в текстовом файле, печать в дескриптор также должна привести к последовательностям UTF-8.

Если вам нужно выполнить перевод между UTF-8 и другими кодировками, особенности зависят от того, используете ли вы Ruby 1.9 или 1.8.6.

Для версии 1.9: http://blog.grayproductions.net/articles/ruby_19s_string для версии 1.8 вы, вероятно, надо посмотреть на Iconv.

Кроме того, если вам нужно взаимодействовать с COM-компонентами в Windows, вам нужно указать ruby ​​использовать правильную кодировку примерно следующим образом:

require 'win32ole'

WIN32OLE.codepage = WIN32OLE::CP_UTF8

Если вы взаимодействуете с mysql, вам необходимо установить параметры сортировки в таблице так, чтобы они поддерживали кодировку, с которой вы работаете. В общем, лучше всего установить сопоставление на UTF-8, даже если часть вашего контента возвращается в других кодировках; вам просто нужно преобразовать по мере необходимости.

В Nokogiri есть некоторые возможности для работы с разными кодировками (вероятно, через Iconv), но я немного отвык от этого, поэтому я оставлю объяснение этого кому-то другому.

Вывод: при передаче UTF-8 в Nokogiri через open-uri используйте open(...).read и передайте полученную строку в Nokogiri.

Анализ: если я извлекаю страницу с помощью curl, заголовки правильно отображают Content-Type: text/html; charset=UTF-8, а содержимое файла включает допустимую кодировку UTF-8, например. "Genealogía de Jesucristo". Но даже с волшебным комментарием к Ruby-файлу и установкой кодировки doc никуда не годится:

# encoding: UTF-8
require 'nokogiri'
require 'open-uri'

doc = Nokogiri::HTML(open('http://www.biblegateway.com/passage/?search=Mateo1-2&version=NVI'))
doc.encoding = 'utf-8'
h52 = doc.css('h5')[1]
puts h52.text, h52.text.encoding
#=> Genealogà a de Jesucristo
#=> UTF-8

Мы видим, что это не вина open-uri:

html = open('http://www.biblegateway.com/passage/?search=Mateo1-2&version=NVI')
gene = html.read[/Gene\S+/]
puts gene, gene.encoding
#=> Genealogía
#=> UTF-8

Кажется, это проблема Nokogiri при работе с open-uri. Это можно обойти, передав HTML в виде необработанной строки в Nokogiri:

# encoding: UTF-8
require 'nokogiri'
require 'open-uri'

html = open('http://www.biblegateway.com/passage/?search=Mateo1-2&version=NVI')
doc = Nokogiri::HTML(html.read)
doc.encoding = 'utf-8'
h52 = doc.css('h5')[1].text
puts h52, h52.encoding, h52 == "Genealogía de Jesucristo"
#=> Genealogía de Jesucristo
#=> UTF-8
#=> true

У меня была та же проблема, и подход Iconv не работал. Nokogiri::HTML является псевдонимом Nokogiri::HTML.parse(thing, url, encoding, options).

Итак, вам просто нужно сделать:

doc = Nokogiri::HTML(open(link).read, nil, 'utf-8')

и он правильно преобразует кодировку страницы в utf-8. Вы увидите Ragù вместо Rag\303\271.

Попробуйте установить параметр кодирования Nokogiri, например:

require 'open-uri'
require 'nokogiri'
doc = Nokogiri::HTML(open(link))
doc.encoding = 'utf-8'
title = doc.at_css("title")

Вам необходимо преобразовать ответ с очищаемого веб-сайта (здесь epicurious.com) в кодировку utf-8.

в соответствии с html-содержимым с очищаемой страницы, на данный момент это «ISO-8859-1». Итак, вам нужно сделать что-то вроде этого:

require 'iconv'
doc = Nokogiri::HTML(Iconv.conv('utf-8//IGNORE', 'ISO-8859-1', open(link).read))

Подробнее об этом читайте здесь: http://www.quarkruby.com/2009/9/22/rails-utf-8-and-html-screen-scraping

Замена Nokogiri::HTML(...) на Nokogiri::HTML5(...) устранила проблемы, которые возникали у меня при синтаксическом анализе определенных специальных символов, в частности длинных тире.

(Символы с акцентом в вашей ссылке прошли нормально в обоих случаях, поэтому не знаю, поможет ли это вам в этом.)

ПРИМЕР:

url = 'https://www.youtube.com/watch?v=4r6gr7uytQA'

doc = Nokogiri::HTML(open(url))
doc.title
=> "Josh Waitzkin â\u0080\u0094 How to Cram 2 Months of Learning into 1 Day | The Tim Ferriss Show - YouTube"

doc = Nokogiri::HTML5(open(url))
doc.title
=> "Josh Waitzkin — How to Cram 2 Months of Learning into 1 Day | The Tim Ferriss Show - YouTube"

Просто чтобы добавить перекрестную ссылку, эта страница SO содержит некоторую связанную информацию:

Как заставить Nokogiri прозрачно возвращать незакодированный HTML-код объекты нетронуты?

Совет. вы также можете использовать гем Scrapifier для очень простого получения метаданных, таких как заголовок страницы, из URI. Все данные закодированы в UTF-8.

Проверьте это: https://github.com/tiagopog/scrapifier

Надеюсь, это будет полезно для вас.