Использование Python xml.etree для поиска смещений начального и конечного символов элемента

Функция iterparse() доступна в xml.etree:

import xml.etree.cElementTree as etree

for event, elem in etree.iterparse(file, events=('start', 'end')):
    if event == 'start':
       print(elem.tag) # use only tag name and attributes here
    elif event == 'end':
       # elem children elements, elem.text, elem.tail are available
       if elem.text is not None and elem.tail is not None:
          print(repr(elem.tail))

Другой вариант — переопределить методы start(), data(), end() для etree.TreeBuilder():

from xml.etree.ElementTree import XMLParser, TreeBuilder

class MyTreeBuilder(TreeBuilder):

    def start(self, tag, attrs):
        print("<%s>" % tag)
        return TreeBuilder.start(self, tag, attrs)

    def data(self, data):
        print(repr(data))
        TreeBuilder.data(self, data)

    def end(self, tag):
        return TreeBuilder.end(self, tag)

text = """<xml>
The captial of <place pid="1">South Africa</place> is <place>Pretoria</place>.
</xml>"""

# ElementTree.fromstring()
parser = XMLParser(target=MyTreeBuilder())
parser.feed(text)
root = parser.close() # return an ordinary Element

Вывод

<xml>
'\nThe captial of '
<place>
'South Africa'
' is '
<place>
'Pretoria'
'.\n'

Вам нужно посмотреть на свойство .tail, а также на .text: .text дает вам текст сразу после начального тега, .tail дает вам текст сразу после конечного тега. Это даст вам «множество маленьких строк».

Совет: вы можете использовать etree.iterwalk(elem) (делает то же самое, что и etree.iterparse(), но вместо этого над существующим деревом) для перебора начального и конечного тегов. К идее:

for event, elem in etree.iterwalk(xml_elem, events=('start', 'end')):
    if event == 'start':
        # it's a start tag
        print 'starting element', elem.tag
        print elem.text
    elif event == 'end':
        # it's an end tag
        print 'ending element', elem.tag
        if elem is not xml_elem:
            # dont' want the text trailing xml_elem
            print elem.tail

Я думаю, вы можете закончить остальное для себя? Предупреждение: .text и .tail могут быть None, поэтому, если вы хотите конкатенировать, вам придется защищаться от этого (например, используйте (elem.text or ''))

Если вы знакомы с саксофоном (или у вас есть существующий саксофонный код, который делает то, что вам нужно), lxml позволяет вам -or-element" rel="nofollow">создавать события саксофона из элемента или дерева:

lxml.sax.saxify(elem, handler)

Некоторые другие вещи, на которые следует обратить внимание при извлечении всего текста из элемента: метод .itertext(), выражение xpath .//text() (lxml позволяет вам возвращать «умные строки» из выражений xpath: они позволяют вам проверить, какому элементу они принадлежат и т. д... ).

(3) можно сделать с помощью XMLParser.CurrentByteIndex вот так:

import xml.etree.ElementTree as ET

class MyTreeBuilder(ET.TreeBuilder):
    def start(self, tag, attrs):
        print(parser.parser.CurrentByteIndex)
        ET.TreeBuilder.start(self, tag, attrs)

builder = MyTreeBuilder()
parser = ET.XMLParser(target=builder)
builder.parser = parser
tree = ET.parse('test.xml', parser=parser)

См. также этот ответ для альтернативы SAX. Обратите внимание, однако, что индекс байта не совпадает с индексом символа, и в Python может не существовать эффективного способа преобразования индекса байта в символ. (См. также здесь.)

Обходной путь (по общему признанию, уродливый) для получения смещений символов вместо смещений байтов состоит в том, чтобы перекодировать байты как символы. Предполагая, что фактическая кодировка utf8:

import xml.etree.ElementTree as ET

class MyTreeBuilder(ET.TreeBuilder):
    def start(self, tag, attrs):
        print(parser.parser.CurrentByteIndex)
        ET.TreeBuilder.start(self, tag, attrs)

builder = MyTreeBuilder()
parser = ET.XMLParser(target=builder)
builder.parser = parser
with open('test.xml', 'rb') as f:
    parser.feed(f.read().decode('latin1').encode('utf8'))

(2) легко с SAX, см. этот фрагмент

from xml.sax.handler import ContentHandler
import xml.sax
import sys

class textHandler(ContentHandler):
    def characters(self, ch):
        sys.stdout.write(ch.encode("Latin-1"))

parser = xml.sax.make_parser()
handler = textHandler()
parser.setContentHandler(handler)
parser.parse("test.xml")

или пример 1-1: bookhandler.py в этой книге http://oreilly.com/catalog/pythonxml/chapter/ch01.html

(3) сложнее, обратитесь к этому потоку, это Java, но в API Python SAX должна быть похожая вещь Как мне получить правильное начальное/конечное расположение тега xml с помощью SAX?