3.3.5 运行测试

确保 HBase 中已经有了数据.

启动 Hadoop集群, 启动 Zookeeper 集群, 启动 HBase 集群.


打包.

在 yarn 上运行 jar包:

yarn jar data-analysis-1.0-SNAPSHOT.jar com.atguigu.dataanalasis.mapred.CallDriver

注意:

  • Mysql 的驱动 jar 如果放在本地文件系统, Hadoop 总是无法读取到, 各种放到 classpath 中也无法找到, 应该是 Hadoop 的一个 bug. 其他的 jar 包都可以找到, 就是Mysql的驱动jar包找不到.

  • 所以需要把 Mysql 驱动包上传到 HDFS `/libs/mysql-connector-java-5.1.27-bin.jar`
  • 然后在 `job` 中添加一行代码: `job.addFileToClassPath(new Path("hdfs://hadoop201:9000/libs/mysql-connector-java-5.1.27-bin.jar"));`
  • 然后就可以愉快的运行了.

  • 当然也可以选择在打包的时候把依赖也打入 jar 包.

    <build>
          <plugins>
              <plugin>
                  <artifactId>maven-assembly-plugin</artifactId>
                  <configuration>
                      <descriptorRefs>
                          <descriptorRef>jar-with-dependencies</descriptorRef>
                      </descriptorRefs>
                  </configuration>
                  <executions>
                      <execution>
                          <id>make-assembly</id>
                          <phase>package</phase>
                          <goals>
                              <goal>single</goal>
                          </goals>
                      </execution>
                  </executions>
              </plugin>
          </plugins>
      </build>
    
Copyright © 尚硅谷大数据 2019 all right reserved,powered by Gitbook
该文件最后修订时间: 2019-01-02 13:10:43

results matching ""

    No results matching ""