Мой процессор перегревается, когда я использую хвостовой курсор монго с .stream()

На самом деле здесь нужно сделать несколько вещей. Первое, что следует отметить, это использование метода .cursor() вместо .stream() как фактически указано в предупреждении об устаревании, выдаваемом при ином использовании:

Предупреждение об устаревании: Mongoose: Query.prototype.stream() устарел в mongoose >= 4.5.0, вместо этого используйте Query.prototype.cursor()

Второе примечательное обстоятельство заключается в том, что, как указано в документации .cursor(), теперь возвращается Интерфейс «обернутого потока» непосредственно из базового драйвера. Поэтому рекомендуется использовать современный .addCursorFlag() вместо метода .tailable() из mongoose Query.

После того, как обе эти меры приняты, я вижу, что простаивающий ЦП для процессов mongod и node падает до 0% между интервалами обновления.

Это лучше всего моделируется с помощью следующего листинга.

const mongoose = require('mongoose'),
      Schema = mongoose.Schema;

mongoose.Promise = global.Promise;
mongoose.set('debug',true);

const uri = 'mongodb://localhost/tailing',
      options = { useMongoClient: true };

const subSchema = new Schema({
  name: String
},{
  capped: { size: 1024, max: 1000 }
});

const Sub = mongoose.model('Sub', subSchema);

function log(data) {
  console.log(JSON.stringify(data, undefined, 2))
}

(async function() {

  try {

    const conn = await mongoose.connect(uri,options);

    //await Sub.remove({});

    await Sub.insertMany(Array(50).fill(1).map((e,i) => ({ name: i+1 })));

    let stream = Sub.find()
      .cursor()
      .addCursorFlag('tailable',true)
      .addCursorFlag('awaitData',true);
      /*
      .tailable({
        await_data: true,
        numberOfRetries: -1
      })
      .cursor();
      */

    stream.on('data',function(data) {
      log(data);
    });

    let counter = 50;


    setInterval(async function() {
      counter++;
      await Sub.insertMany({ name: counter });
    },10000);

  } catch(e) {
    console.log(e);
  } finally {
    //mongoose.disconnect();
  }

})();

Обычный старый верхний вывод, захваченный во время фактической записи:

top - 21:38:29 up 12 days,  1:23,  3 users,  load average: 0.06, 0.03, 0.04
Tasks: 116 total,   2 running, 114 sleeping,   0 stopped,   0 zombie
%Cpu(s):  0.3 us,  0.3 sy,  0.0 ni, 98.6 id,  0.7 wa,  0.0 hi,  0.0 si,  0.0 st
KiB Mem :  2045968 total,   207452 free,   813908 used,  1024608 buff/cache
KiB Swap:  2097148 total,  2097124 free,       24 used.  1028156 avail Mem

  PID USER      PR  NI    VIRT    RES    SHR S %CPU %MEM     TIME+ COMMAND
 1257 mongodb   20   0 1946896 487336  34892 S  0.7 23.8 130:37.67 mongod
28233 neillunn  20   0 1021460  41920  22996 S  0.3  2.0   0:00.67 node
30956 neillunn  20   0  101472   4384   3352 S  0.3  0.2   0:20.95 sshd

Я использую mongooseV5.9.2, и мне нужно было добавить ниже способ решения проблемы.

let options = { tailable: true, 
                awaitData: true, 
                numberOfRetries: -1, 
                tailableRetryInterval: 200
              };
    collection.find().cursor(options);