Avatar ·

Arbeiten mit einer großen Anzahl von Einträgen in einer Session

📁 Funktion, Mikroframework Flask, KI, Arbeit, Projekt

Wie arbeitet man richtig mit einer großen Anzahl von Einträgen mit SQLAlchemy?

Ich habe zwei Tabellen. In der ersten gibt es 5 Millionen Einträge der Form: question_id, view_count, counted. In der zweiten Tabelle befindet sich die Summe von view_count für jede eindeutige question_id. Wenn wir einen Eintrag aus der ersten Tabelle in der zweiten berücksichtigt haben, wird counted auf true gesetzt.

Derzeit sieht das so aus:

def update_most_viewed():    query = QuestionViewHistory.query.filter_by(counted=False).distinct()    question_count = query.count()    frame_size = 1000    counter = 0    while counter <= question_count:        all_questions = query.offset(counter*frame_size).limit(frame_size).all()        cou