sqoop如何指定pg库的模式(方法详解)

目录

sqoop是一款用于hadoop和关系型数据库之间数据导入导出的工具。你可以通过sqoop把数据从数据库（比如mysql,oracle）导入到hdfs中；也可以把数据从hdfs中导出到关系型数据库中。sqoop通过Hadoop的MapReduce导入导出，因此提供了很高的并行性能以及良好的容错性。

op(exporter); String[] data = list.toArray(new String[0]); if (0 == data.length) { LogUtils.logErrorPrint("sqoop参数为空，请检查ExportCmd方法！",logger); return false; } if (0 == Sqoop.runSqoop(sqoop, data)){ return true; } }catch (Exception e){ LogUtils.logErrorPrint("ExportCmd 导入到HDFS出现错误",logger,e); } return false; }

结果也是不成功，显示报错不识别-- --schema 。。。为了能够使schema参数生效，废了我不少劲。。。也查了不少资料，但是查到的资料都没有关于java的schema的设置。所以。。。最终正确的解决办法是：

public static boolean ExportCmdInPg(Configuration conf, String tableName, List<String> columns, String hdfsDir,Map<String, String> dbMap) {        try {            LogUtils.logInfoPrint("开始sqoop将oracle的数据导出到HDFS目录",logger);            List<String> list = new ArrayList<>();            list.add("--connect");            list.add(dbMap.get(Constant.DRIVERURL));            list.add("--username");            list.add(dbMap.get(Constant.USER));            list.add("--password");            list.add(dbMap.get(Constant.PASSWORD));            list.add("--table");            list.add(tableName);            list.add("--columns");            list.add(StringUtils.join(columns, ','));            list.add("--fields-terminated-by");            list.add("t");            list.add("--export-dir");            list.add(hdfsDir);            list.add("-m");            list.add("1");            //www.easck.com 注意这里是--是分开的，源码这里是通过--做判断的            list.add("--");            list.add("--schema");            list.add("HERO");            ExportTool exporter = new ExportTool();            Sqoop sqoop = new Sqoop(exporter);            String[] data = list.toArray(new String[0]);            if (0 == data.length) {                LogUtils.logErrorPrint("sqoop参数为空，请检查ExportCmd方法！",logger);                return false;            }            if (0 == Sqoop.runSqoop(sqoop, data)){                return true;            }        }catch (Exception e){            LogUtils.logErrorPrint("ExportCmd 导入到HDFS出现错误",logger,e);        }        return false;    }

当然你也可能会使用字符串数组，数组方式就要这样写了

// 这里只是举个示例String[] string = new String[]{"--","--schema","HERO"}

so 问题解决，心情愉快。如果问题不解决，可能会憋一天。。。。

本文分享自华为云社区《【Hadoop】关于Sqoop导出数据到postgresql时schema的设置问题》，作者：Copy工程师 。