Данные, управляемые с использованием Robot framework - как создать PASS / FAIL в отчетах для каждого теста, считанного из файла

Просто следуйте документации: http://robotframework.org/robotframework/latest/RobotFrameworkUserGuide.html#data-driven-style Вы должны определить Test Template: http://robotframework.org/robotframework/latest/RobotFrameworkUserGuide.html#test-templates

Я постараюсь ответить на все возникшие у вас здесь вопросы с самого начала.

Причина, по которой ваш тест показал только один успех, заключается в том, что у вас был только один тест. Позвольте мне рассказать вам об этом.

Каждый файл .robot, который вы запускаете, на самом деле является Test Suite. В каждом Suite может быть несколько тестов, определенных в *** Test Cases ***. В каждом тестовом примере может быть несколько ключевых слов. Визуально это выглядит так:

Suite
|-Test
|  |-Keyword
|  |-Keyword
|-Test
|-Test

Вы запускали сначала один тест с одним ключевым словом, затем один тест с четырьмя ключевыми словами. Тест будет пройден, только если пройдут все ключевые слова. Вы можете добавить другую логику, чтобы она прошла, если ни одно, некоторые или все ключевые слова не пройдут, но это базовая структура набора тестов Robot Framework. Выходные данные Robot Framework Test Suite покажут ровно один успешный / неуспешный результат для каждого теста, а не ключевое слово. В журнале будет отображаться Pass / Fail для каждого ключевого слова отдельно, но не в выводе консоли.

Что касается чтения из файла, это особенно сложная проблема в Robot Framework, но более простым решением является создание списка и словаря в таблице переменных, как показано ниже:

*** Variables ***
@{users} =  user1  user2  user3  user4
&{passwords} =  {'user1':'password1', 'user2':'password2', 'user3':'password3', 'user4':'password4'}

Затем в своем цикле вы можете использовать :FOR ${user} IN @{users} и вызывать пароль с помощью ${passwords["${user}"]}, чтобы ссылаться только на пароль текущего пользователя.

Единственные два известных мне способа прямого чтения из файла в базовой среде Robot Framework - это использование настраиваемого ключевого слова Python и библиотеки операционной системы. Это не полноценный язык программирования, больше похоже на специализированную оболочку для Python.

Я считаю, что этот вопрос попадает в сценарий, который робот в настоящее время не может решить. Сценарий такой:

1. У вас есть набор точек данных в файле, которые вы хотите загружать динамически.
2. Вы хотите запустить идентичные тесты для каждой точки данных.
3. Вы хотите, чтобы робот сообщал, сколько из этих тестов прошло успешно и не удалось.

Есть способы выполнить (1) и (2), загрузив данные в список и перебирая его в цикле for, как показано в вопросе. (Для полноты картины: это также можно сделать в виде шаблона с цикл for.) Однако этот цикл for всегда будет объединен в один тестовый пример в сводке.

Вы можете выполнить (2) и (3) с помощью робота, управляемого данными набор, в котором точки данных перечислены в качестве тестовых примеров. (Этот метод упоминался в обновлении вопроса). Однако этот метод не может динамически загружать точки данных во время выполнения робота.

Единственное решение, которое я вижу, - это преобразовать ваши данные в набор роботов, управляемых данными, с помощью некоторого скрипта, а затем запустить этот набор. Это потребует некоторого сценария оболочки для запуска робота. Это немного разочаровывает, поскольку моя компания надеялась, что Robot станет тестовой средой, которая заменит и охватит все другие среды.