große Datenlast in Salesforce

stimmen
0

Ich stieß auf seltsame Einschränkung, will hören, wenn jemand dieses Problem gelöst ist.

Problemstellung: Laden von Daten in Salesforce von außen. Datenvolumen beträgt 1 Million Datensatz in einem Burst, alle 3 Stunden.

meine Quelle Orchestrierung Werkzeug (Nifi) ist in der Lage diese viele REST API zu machen, aber Salesforce hat darum gebeten, mit so viel Durchsatz nicht REST zu verwenden. Ich bin nicht sicher, ob es ein Limit von Salesforce oder Produkt-Team hat eine künstliche Decke geschaffen.

sie haben Verwendung Dataloader vorgeschlagen, die ein Batch-Lader für Salesforce zu sein scheint, aber es ist auch nicht so schnell. es hat auch andere Probleme. Ich kann nicht auslösen Dataloader, wenn ich die Daten bekommen, also nicht so hilfreich entweder.

Lange Zeit habe ich Informatica zurück verwendet, um Salesforce zu verbinden, und wir haben ähnliche Menge an Daten zu übergeben, und ohne Frage. Kann jemand beantworten, wie Informatica Anschluss dieses Engpass Problem gelöst hat? Was es unter nicht verwendet?

auch eine andere Möglichkeit, dieses viel Daten zu Salesforce zu schieben?

Veröffentlicht am 09/10/2019 um 18:56
quelle vom benutzer
In anderen Sprachen...                            


1 antworten

stimmen
0

Kurze Antwort: überdenken Ihren Anwendungsfall. Rewrite App anderen Mechanismus der Verbindung zu SF zu verwenden.

Lange Antwort: Standard Salesforce API (SOAP oder REST, spielt keine Rolle) ist synchron. Anfrage-Antwort, Arbeit geleistet. Es ist in einem API-Aufruf zu 200 Datensätze max begrenzt. Ihre Mengen sind besser geeignet für Bulk-API. Dass man REST-only (obwohl es XML, JSON oder CSV akzeptieren), bis zu 10K Aufzeichnungen in einem API-Aufruf. Der wesentliche Unterschied besteht darin, dass es asynchron ist. (? Alle 10 Sekunden pro Minute) Sie senden den Auftrag, Sie die Aufgabe des id zurück, Sie können es „ist endlich fertig, wenn es - geben Sie mir mein Erfolg / Misserfolg Ergebnisse zurück“. Aber jeder dieser Prüfungen wird natürlich verbrauchen 1 API zu nennen. In Zwischenzeit erhielt SF eine Reihe von ZIP-Dateien von Ihnen und arbeitet auf dem Entpacken und Verarbeitung von ihnen so schnell wie Ressourcen ermöglichen.

So (den anfänglichen ignoriert loginAnruf) lassen Sie sich über Grenzen reden. In Sandkästen sind das 24 - Stunden - Roll Limit von API - Aufrufen 5 Millionen Anrufe. Fest. Es ist 15K - API - Aufrufe + 1 K pro jeder vollen Lizenz Benutzer Sie haben (Sales Cloud, Service Cloud) + Sie können mehr Kapazität kaufen ... Oder gehen Sie einfach auf das Setup in der Produktion -> Unternehmen Informationen und überprüfen Sie Ihre Grenze.

sagen wir, Sie haben 5 Benutzer so 20K Anrufe / Tag in der Produktion. In 24 Stunden bei max Kapazität können Sie 10K * 20K = 200M Einsätze / Updates schieben. Nun, etwas weniger wegen Login Anrufe und die Statusüberprüfung und die Ergebnisdatei nach unten ziehen, aber immer noch - ziemlich gut. Wenn das nicht genug ist - haben Sie größere Probleme;) Standard-API verwenden würden Sie 200 * 20K = bloße 4M Aufzeichnungen gehen lassen.

SF Unterstützung sagten Sie Data Loader zu verwenden , da in DL es ist nur eine Checkbox tickt Bulk - API zu verwenden. Sie nicht darauf , dass Backend - Mechanismus unterscheidet. Sie könnten sogar Skript Data Loader von Kommandozeilen laufen ( https://resources.docs.salesforce.com/216/latest/en-us/sfdc/pdf/salesforce_data_loader.pdf Kapitel 4). Oder wenn es sich um eine Java - Anwendung ist - wieder verwenden nur die JAR - Datei oben auf dem DL UI gebaut wird.

Diese könnten auch helfen:

Beantwortet am 10/10/2019 um 01:50
quelle vom benutzer

Cookies help us deliver our services. By using our services, you agree to our use of cookies. Learn more