Postgres - удалить данные для столбца, который не существует в INSERT

Используя psycopg2, вы можете сделать следующее: Получить столбцы таблицы перед вставкой и отфильтровать ненужные столбцы:

import psycopg2
from psycopg2 import sql 
from psycopg2.extras import RealDictCursor


def fetchTableColumns(cur, table):
    sql = """
        select
            attname::varchar as "column",
            pg_type.typname::varchar as "type",
            pg_type.typcategory as "category",
            NULL as "parent",
            attnotnull as "null"
        FROM
            pg_attribute, pg_class, pg_type
        WHERE
            attrelid = pg_class.oid
            AND pg_attribute.attisdropped = False
            AND relname = %s
            AND attnum > 0
            AND atttypid = pg_type.oid
    """

    cur.execute(sql, (table, ))
    columns = [col['column'] for col in cur.fetchall()]
    print('Columns for table: %s are %s' % (table, columns))
    return columns


def insert(cur):
    table_name = 'accounts'
    values = {
        'username': 'foobar',
        'email': '[email protected]',
        'pwd': 'bar4000#',
        'birth': '01/01/2010',
        'country': 'France',
        'gender': 'm'
    }

    columns = fetchTableColumns(cur, table_name)
    filteredValues = {k: v for (k,v) in values.items() if k in columns}  # just keep the values that are named by the columns of the table.

    query = sql.SQL("insert into {} ({}) values ({})").format(
        sql.Identifier(table_name),
        sql.SQL(', ').join(map(sql.Identifier, filteredValues.keys())),
        sql.SQL(', ').join(sql.Placeholder() * len(filteredValues.keys())))

    print (cur.mogrify(query, list(filteredValues.values())).decode('utf-8'))



if __name__ == '__main__':
    repo_dbausername = 'mf_usr'
    repo_dbapassword = 'XYZ'
    repo_host = 'localhost'
    repo_port = '5959'

    con = psycopg2.connect(user=repo_dbausername,
          password=repo_dbapassword,
          host=repo_host,
          port=repo_port,
          database="mf")
    cur = con.cursor(cursor_factory=RealDictCursor)
    insert(cur)

Выход:

Columns for table: accounts are ['id', 'username', 'pwd', 'user_id', 'plid', 'email', 'last_login', 'ctime', 'parent', 'token', 'atime', 'stime', 'status']
insert into "accounts" ("username", "email", "pwd") values ('foobar', '[email protected]', 'bar4000#')
# as you can see birth, country, gender do not appear in the query.

Примечание. Ради скорости/производительности вы можете реализовать кеш для столбцов, возвращаемых fetchTableColumns, и периодически обновлять кеш.
Если вам нужно быстрее, вы можете написать хранимую процедуру, которая выполняет то же самое, но непосредственно в базе данных.

Решил, что это может помочь показать пример. Изменено из документов psycopg2: https://www.psycopg.org/docs/sql.html

columns = ["col_1", "col_2", "col_3", "col_4"]
q2 = sql.SQL("insert into {} ({}) values ({})").format(
     sql.Identifier("some_table"), 
     sql.SQL(', ').join(map(sql.Identifier, columns)),
     sql.SQL(', ').join(map(sql.Placeholder, columns)))
print(q2.as_string(conn))
insert into "some_table" ("col_1", "col_2", "col_3", "col_4") values (%(col_1)s, %(col_2)s, %(col_3)s, %(col_4)s)
data_dict = {"col_1": 1, "col_2": 2, "col_3": 3, "col_4": 4, "col_a": "a", "col_5": 5}