анализ n-грамм имени на неанглийских языках (CJK и т. д.)

Еще немного информации о японском:

1. Когда дело доходит до разделения имен на фамилию и имя, морфологические анализаторы, такие как mecab (упомянутые в ответе @ Holden), в основном работают, но уровень точности не будет очень высоким , потому что они будут правильно понимать только те имена, которые есть в их словаре (статистические возможности mecab в основном относятся к тегам POS и работе с неоднозначными словарными статьями, но если имя собственное отсутствует в словаре, mecab в большинстве случаев разделит его на отдельные символы, что почти всегда неверно). Чтобы проверить это, я использовал случайный список имен в Интернете (этот, который содержит имена 113 человек ), извлекли имена, удалили из них пробелы и протестировали mecab с помощью IPAdic. Получил ок. 21% названий ошиблись.

2. «Правильные» японские имена, то есть имена японцев, состоят из фамилии (чаще всего 2, но иногда 1 или 3, кандзи) и имени (чаще всего 1 или 2, иногда 3 кандзи, но иногда 2-5 хираганы). Нет отчества и нет понятия инициалов. Вы можете улучшить вывод mecab, (1) используя исчерпывающий словарь фамилий, который можно составить из веб-ресурсов, (2) предполагая, что вывод неверен, если имеется более двух элементов, и затем используйте самодельный словарь фамилий, чтобы распознать часть фамилии, и если это не удастся, используйте правила разделения по умолчанию, основанные на количестве символов. Последнее не всегда будет точным.

3. Конечно, иностранные имена могут быть представлены и на японском языке. Во-первых, есть китайские и корейские имена, которые обычно представлены с помощью кандзи, то есть любые правила разделения для китайского или корейского, которые вы используете, могут применяться более или менее напрямую. Западные, а также арабские или индийские имена представлены с использованием символов латиницы (хотя, возможно, полной ширины) или символов катакана, часто (но не всегда) с использованием пробел или средняя точка ・ между фамилией и именем. В то время как для имен японцев, китайцев или корейцев порядок в японском представлении всегда будет фамилией, а затем именем, порядок западных имен трудно предсказать.

4. Вам вообще нужно разделить имена на семейство и заданную часть? В целях дедупликации / очистки данных это необходимо только в том случае, если некоторые из возможных дубликатов появляются в другом порядке или с необязательными инициалами в середине. Ничего из этого невозможно в японских именах (ни китайских, ни корейских именах, если на то пошло). Единственное, что нужно иметь в виду, это то, что если вам дана строка катакана с пробелами или средними точками в ней, вы, вероятно, имеете дело с западным именем, и в этом случае полезно разделение на пробел / среднюю точку.

5. Хотя разделение, вероятно, на самом деле не требуется, вы должны решить ряд других проблем, не упомянутых в предыдущих ответах:

   1. Транслитерация иностранных имен. В зависимости от того, как была построена ваша база данных, могут быть ситуации, в которых используется западное имя, например «Обама» в одной записи, и японское представление катаканы «オ バ マ» в повторяющейся записи. К сожалению, преобразование латинского языка в катакану непросто, поскольку катакана пытается отразить произношение имени, которое может варьироваться в зависимости от языка или происхождения и акцента того, кто его произносит. Например. тот, кто впервые слышит имя «Обама», может испытать соблазн представить его как «オ バ ー マ», чтобы подчеркнуть долгую гласную в середине. Решение этой проблемы нетривиально и никогда не сработает идеально, но если вы считаете, что это важно для вашей проблемы с очищением, давайте рассмотрим ее в отдельном вопросе.

   2. Варианты кандзи. В японских именах (а также в японских представлениях некоторых китайцев или корейских имен) используются кандзи, которые считаются традиционными версиями современных кандзи. Например, многие распространенные фамилии содержат 澤, что является версией 沢. Например, фамилия Такадзава может записываться как 高 沢 или 高 澤. Обычно только один правильный вариант используется любым конкретным лицом с таким именем, но нередко неправильный вариант используется в записи базы данных. Поэтому вам обязательно нужно привести традиционные варианты к современным, прежде чем сравнивать имена. Эта веб-страница предоставляет сопоставление, которое, конечно, не является исчерпывающим, но, вероятно, Достаточно хорошо для ваших целей.

   3. Как латинские символы, так и символы катаканы существуют как как во всю ширину, так и в полуширину. В катакане обычно используется первое, а на латыни - второе, но нет никакой гарантии. Вы должны нормализовать всю Какатану до полной ширины и всю латинскую до полуширины, прежде чем сравнивать имена.

   4. Возможно, излишне говорить, что существуют различные версии символов пробела, которые вы также должны нормализовать перед сравнением имен. Более того, в последовательности чистых иероглифов я рекомендую удалить все пробелы перед сравнением.

   5. Как уже говорилось, некоторые имена (особенно женские) написаны хираганой. Может случиться так, что в некоторых случаях эти же имена написаны катаканой. Сопоставление между хираганой и катаканой возможно тривиально. Вам следует подумать о нормализации всех Кана (то есть хираганы и катаканы) до общего представления (либо хираганы, либо катаканы), прежде чем проводить какие-либо сравнения.

   6. Также может случиться так, что некоторые имена кандзи представлены с помощью Кана. Это связано с тем, что тот, кто сделал запись в базе данных, возможно, не знал правильного кандзи для имени (особенно с именами, угадать правильный кандзи после прослушивания имени, например, по телефону, очень часто невозможно даже для носителей языка). К сожалению, сопоставление между представлениями кандзи и представлениями кана очень сложно и весьма неоднозначно, например, 真, 誠 и 実 являются возможными кандзи для имени «Макото». Любой человек с таким именем сочтет правильным для себя только одно из них, но невозможно узнать, какое из них, если единственное, что вы знаете, это то, что имя - «Макото». Но Кана основана на звуке, поэтому все три версии одинаковы マ コ ト в Катакане. Словари, встроенные в морфологические анализаторы, такие как mecab, предоставляют сопоставления, но поскольку существует более одного возможного кандзи для любой последовательности Кана и наоборот, фактическое использование этого во время очистки данных значительно усложнит ваш алгоритм. В зависимости от того, как изначально была создана ваша база данных, это может быть или не быть актуальной проблемой.