Funken 2: Verwenden von benutzerdefinierten Funken einreichen Skript mit SparkLauncher

stimmen
0

Ich suche eine benutzerdefinierte Funken verfassen Skript zu verwenden (aber unterschiedliche Namen haben) , um die Spark - Job zu übergeben mit „ SparkLauncher

Das Problem ist , dass die Standard - createBuilder()Methode Fest Codes , um den Namen des Skripts in SparkLauncher.class.

Gibt es eine Möglichkeit , die API zu zwingen , mein eigenes Skript zu verwenden, sagen custom-spark-submit?

 private ProcessBuilder createBuilder() {
        List<String> cmd = new ArrayList();
        String script = CommandBuilderUtils.isWindows() ? spark-submit.cmd : spark-submit;
Veröffentlicht am 27/11/2018 um 17:58
quelle vom benutzer
In anderen Sprachen...                            


1 antworten

Funken 2: Verwenden von benutzerdefinierten Funken einreichen Skript mit SparkLauncher

stimmen
0

Ich suche eine benutzerdefinierte Funken verfassen Skript zu verwenden (aber unterschiedliche Namen haben) , um die Spark - Job zu übergeben mit „ SparkLauncher

Das Problem ist , dass die Standard - createBuilder()Methode Fest Codes , um den Namen des Skripts in SparkLauncher.class.

Gibt es eine Möglichkeit , die API zu zwingen , mein eigenes Skript zu verwenden, sagen custom-spark-submit?

 private ProcessBuilder createBuilder() {
        List<String> cmd = new ArrayList();
        String script = CommandBuilderUtils.isWindows() ? "spark-submit.cmd" : "spark-submit";
Beantwortet am 27/11/2018 um 17:58
quelle vom benutzer

Cookies help us deliver our services. By using our services, you agree to our use of cookies. Learn more