Nano Hash - криптовалюты, майнинг, программирование

Получение 0 строк при запросе внешней таблицы в красном смещении

Схему мы создали следующим образом:

create external schema spectrum
from data catalog
database 'test'
iam_role 'arn:aws:iam::20XXXXXXXXXXX:role/athenaaccess'
create external database if not exists;

и таблица следующим образом:

create external table spectrum.Customer(
Subr_Id integer,
SUB_CURRENTSTATUS varchar(100),
AIN integer,
ACCOUNT_CREATED timestamp,
Subr_Name varchar(100),
LAST_DEACTIVATED timestamp)
partitioned by (LAST_ACTIVATION timestamp)
row format delimited
fields terminated by ','
stored as textfile
location 's3://cequity-redshiftspectrum-test/'
table properties ('numRows'='1000');

права доступа следующие:

Роли доступа athenaQuickSight, полного доступа Athena и полного доступа s3 привязаны к кластеру Redshift.

Однако, когда мы запрашиваем, как показано ниже, мы получаем 0 записей. пожалуйста помоги.

select count(*) from spectrum.Customer;
amazon-athena amazon-redshift-spectrum
31.10.2017

Ответы:


1

Если ваш запрос возвращает ноль строк из секционированной внешней таблицы, проверьте, была ли добавлена ​​секция в эту внешнюю таблицу. Redshift Spectrum сканирует только те файлы в расположении Amazon S3, которые были явно добавлены с помощью ALTER TABLE … ADD PARTITION. Запросите представление SVV_EXTERNAL_PARTITIONS, чтобы найти существующие разделы. Запустите ALTER TABLE ADD … PARTITION для каждого отсутствующего раздела.

Ссылка

Я была такая же проблема. Выполнение вышеуказанного решило мою проблему.

P.S. Явный запуск команды ALTER TABLE для создания раздела также можно автоматизировать.

10.11.2017
  • Отлично работает хорошо. Но как вы можете автоматически добавлять новые разделы в одну и ту же таблицу? 10.11.2017
  • Пожалуйста, перейдите по этой ссылке. stackoverflow.com/questions/47184577/ 10.11.2017
    • Новые материалы
    Кластеризация: более глубокий взгляд
    Кластеризация — это метод обучения без учителя, в котором мы пытаемся найти группы в наборе данных на основе некоторых известных или неизвестных свойств, которые могут существовать. Независимо от..
    Как написать эффективное резюме
    Предложения по дизайну и макету, чтобы представить себя профессионально Вам не позвонили на собеседование после того, как вы несколько раз подали заявку на работу своей мечты? У вас может..
    Частный метод Python: улучшение инкапсуляции и безопасности
    Введение Python — универсальный и мощный язык программирования, известный своей простотой и удобством использования. Одной из ключевых особенностей, отличающих Python от других языков, является..
    Как я автоматизирую тестирование с помощью Jest
    Шутка для победы, когда дело касается автоматизации тестирования Одной очень важной частью разработки программного обеспечения является автоматизация тестирования, поскольку она создает..
    Работа с векторными символическими архитектурами, часть 4 (искусственный интеллект)
    Hyperseed: неконтролируемое обучение с векторными символическими архитектурами (arXiv) Автор: Евгений Осипов , Сачин Кахавала , Диланта Хапутантри , Тимал Кемпития , Дасвин Де Сильва ,..
    Понимание расстояния Вассерштейна: мощная метрика в машинном обучении
    В обширной области машинного обучения часто возникает необходимость сравнивать и измерять различия между распределениями вероятностей. Традиционные метрики расстояния, такие как евклидово..
    Обеспечение масштабируемости LLM: облачный анализ с помощью AWS Fargate и Copilot
    В динамичной области искусственного интеллекта все большее распространение получают модели больших языков (LLM). Они жизненно важны для различных приложений, таких как интеллектуальные..