Я загружаю файлы журнала клиентов (формат csv) в bigquery в 10 различных проектах и 10 разных таблицах с помощью приложения C #.
Это процесс догоняющей загрузки. Я продолжаю загружать файлы с сервера и каждые 5 минут генерировать их для запросов на загрузку bigquery, а затем отправлять в bigquery.
Также я отправлял запросы одновременно (25 запросов каждый раз, сначала ждите завершения любого запроса, я создаю новую задачу для обработки запроса, около 100 запросов в течение 5 минут). Он отлично работает в течение первого часа (0,4344 запроса / сек). Однако через 1-2 часа скорость загрузки резко упала (0,0256 запросов в секунду). Есть ли какая-то конкретная причина, почему это происходит?
Как избежать медленной загрузки? Вот два примера идентификатора вакансии, которые я могу предоставить: job__ITLp_FzYf1gPvy9HhAwkQ42N3A job_4OoXPA4mGRBADX5LaVOrReecOyc
Кажется, что все задания задерживаются после 2-часового периода из-за падения скорости.
Пожалуйста, дайте мне знать, если я могу подробно рассказать о своем вопросе, я новичок в Bigquery и облачных приложениях Google. Заранее большое спасибо.