Hat Funken das Ergebnis SQL-Cache für die gleiche Ausführung der Abfrage

stimmen
0

Wenn ich laufe zwei gleiche Abfragen in Spark-SQL im lokalen Modus. Die zweite Lauf Abfrage immer schneller laufen (Ich gehe davon aus Cache Örtlichkeit dies führen kann).

Aber wenn ich in Spark-UI aussehen, finde ich heraus, die beide gleichen Fragen haben unterschiedliche Anzahl von Arbeitsplätzen und das ist der Teil verwirrt mich, zum Beispiel, wie unten.

Wie Sie der zweit man sehen können, erfordert nur einen Job (20), so wird diese Information explizit Spark-SQL-Cache des Abfrageergebnis bedeuten? Oder es Caches einige Zwischenergebnisse einiger Arbeitsplätze des vorherigen Laufes?

Vielen Dank für die Erklärung.

collect at <console>:26+details 2019/10/09 08:28:34 2 s [20]
collect at <console>:26+details 2019/10/09 08:26:01 2.3 min [16][17][18][19]

Veröffentlicht am 09/10/2019 um 18:49
quelle vom benutzer
In anderen Sprachen...                            

Cookies help us deliver our services. By using our services, you agree to our use of cookies. Learn more