GCP(Google Cloud Platform)のLinux仮想マシン上でJavaプログラムを動かしてみた

GCP(Google Cloud Platform)のLinux仮想マシン上で、GCS(Google Cloud Storage)とBigQueryで連動するJava 1.8のプログラムを動かせるようにしたので、その手順を共有する。

前提条件

GCP(Google Cloud Platform)のアカウントが有り、下記記事の手順に従って、GCP上でDebian GNU/Linux搭載済の仮想マシンを作成済であること。

GCP(Google Cloud Platform)でLinux搭載済の仮想マシンを作成してみたGCP(Google Cloud Platform)上でLinux搭載済の仮想マシンを作成し、GCS(Google Cloud Stor...

また、以下の記事での環境構築を実施済であること。

GCSとBigQueryで連動するプログラムを作成してみた(2)今回も引き続き、GCSとBigQueryで連動するプログラムについて述べる。ここでは、Windows 10が入っているローカル環境にて、...

JDK 1.8のインストール

GCP(Google Cloud Platform)上で仮想マシンを作成した段階では、Javaがインストールされていないため、Java 1.8のインストールを行う。

1) Debian GNU/Linux搭載済の仮想マシンにssh接続し、「apt list | grep jdk」により、インストール可能なJDKパッケージを探す

2) 「sudo apt-get install openjdk-8-jdk」により、JDK 1.8のインストールを行う
「sudo」をコマンドの先頭に付与することで、管理者権限でコマンド実行ができる。また、途中でインストールを継続して良いか聞かれるので「Y」を入力する。

3) インストールが完了すると、下記画面のようになる

4) 「java -version」と入力し、JDK 1.8がインストールされたことを確認する

Mavenのインストール

今回はMavenプロジェクトを作成したいため、Mavenのインストールを行う。

1) 「apt list | grep maven」により、インストール可能なMavenパッケージを探す

2) 「sudo apt-get install maven」により、Mavenのインストールを行う

3) インストールが完了すると、下記画面のようになる

4) 「mvn –version」と入力し、Mavenがインストールされたことを確認する

Mavenプロジェクトの作成

「maven-archetype-quickstart」というシンプルなJavaプロジェクトタイプのアーキタイプ（雛型）があるので、今回はそれを用いて作成する。

1) 「mvn archetype:generate -DarchetypeArtifactId=maven-archetype-quickstart -DinteractiveMode=false -DgroupId=(グループID) -DartifactId=(アーティファクトID)」と入力し、Mavenプロジェクトを作成する

2) 作成が完了すると、下記画面のようになる

3) Mavenプロジェクトを作成すると、下記画面のようにフォルダ・ファイルが作成される

なお、フォルダ構成をtree形式で表示できるように、下記画面のように「sudo apt-get install tree」コマンドにて、treeパッケージをインストールしている。

pom.xmlとJavaプログラムの配置

pom.xmlとJavaプログラムを、Mavenプロジェクト上に配置する。なお、下記手順のプログラムの作成とgcloudコマンドによるコピーは、Windows10のローカルPC上で実施している。

1) pom.xmlを以下のように修正する

<project xmlns="http://maven.apache.org/POM/4.0.0" 
     xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" 
     xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 
          http://maven.apache.org/xsd/maven-4.0.0.xsd">
  <modelVersion>4.0.0</modelVersion>
  <groupId>test.bigquery.select</groupId>
  <artifactId>select-from-sales</artifactId>
  <version>0.0.1-SNAPSHOT</version>
  <name>select-from-sales</name>
  <url>http://maven.apache.org</url>

  <!-- 文字コードとJavaのバージョンの設定 -->
  <properties>
      <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
      <java.version>1.8</java.version>
  </properties>

  <!-- プラグインの設定 -->
  <build>
      <plugins>
          <!-- Javaファイルのコンパイラの設定 -->
          <plugin>
              <groupId>org.apache.maven.plugins</groupId>
              <artifactId>maven-compiler-plugin</artifactId>
              <version>3.6.1</version>
              <configuration>
                  <source>${java.version}</source>
                  <target>${java.version}</target>
              </configuration>
          </plugin>
          <!-- mavenプロジェクトのテスト時のエラー解消のための設定 -->
          <plugin>
              <groupId>org.apache.maven.plugins</groupId>
              <artifactId>maven-surefire-plugin</artifactId>
              <version>3.0.0-M3</version>
              <configuration>
                  <useSystemClassLoader>false</useSystemClassLoader>
              </configuration>
          </plugin>
          <!-- プロジェクトと依存するライブラリを1つにまとめる設定 -->
          <plugin>
                <groupId>org.apache.maven.plugins</groupId>
                <artifactId>maven-assembly-plugin</artifactId>
                <version>2.6</version>
                <configuration>
                    <descriptorRefs>
                        <descriptorRef>jar-with-dependencies</descriptorRef>
                    </descriptorRefs>
                    <archive>
                        <manifest>
                            <!-- メインプログラムとして実行するクラスの指定 -->
                            <mainClass>test.TestBigQuery</mainClass>
                        </manifest>
                    </archive>
                </configuration>
                <executions>
                    <execution>
                        <phase>package</phase>
                        <goals>
                            <goal>single</goal>
                        </goals>
                    </execution>
                </executions>
          </plugin>
      </plugins>
  </build>

  <!-- ライブラリ依存関係の設定 -->
  <dependencies>
      <dependency>
          <!-- Junitの設定 -->
          <groupId>junit</groupId>
          <artifactId>junit</artifactId>
          <version>3.8.1</version>
          <scope>test</scope>
      </dependency>
      <dependency>
          <!-- BigQuery用ライブラリを追加する設定 -->
          <groupId>com.google.cloud</groupId>
          <artifactId>google-cloud-bigquery</artifactId>
          <version>1.49.0</version>
      </dependency>
      <dependency>
          <!-- JSON用ライブラリを追加する設定 -->
          <groupId>org.json</groupId>
          <artifactId>json</artifactId>
          <version>20180813</version>
      </dependency>
  </dependencies>

</project>

<project xmlns="http://maven.apache.org/POM/4.0.0"

xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"

xsi:schemaLocation="http://maven.apache.org/POM/4.0.0

http://maven.apache.org/xsd/maven-4.0.0.xsd">

<groupId>test.bigquery.select</groupId>

<artifactId>select-from-sales</artifactId>

<version>0.0.1-SNAPSHOT</version>

<name>select-from-sales</name>

<url>http://maven.apache.org</url>

<project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>

<java.version>1.8</java.version>

</properties>

<build>

<groupId>org.apache.maven.plugins</groupId>

<artifactId>maven-compiler-plugin</artifactId>

<source>${java.version}</source>

<target>${java.version}</target>

</configuration>

</plugin>

<groupId>org.apache.maven.plugins</groupId>

<artifactId>maven-surefire-plugin</artifactId>

<useSystemClassLoader>false</useSystemClassLoader>

</configuration>

</plugin>

<groupId>org.apache.maven.plugins</groupId>

<artifactId>maven-assembly-plugin</artifactId>

<descriptorRef>jar-with-dependencies</descriptorRef>

</descriptorRefs>

<mainClass>test.TestBigQuery</mainClass>

</manifest>

</archive>

</configuration>

<phase>package</phase>

<goals>

<goal>single</goal>

</goals>

</execution>

</executions>

</plugin>

</plugins>

</build>

<groupId>junit</groupId>

<artifactId>junit</artifactId>

</dependency>

<groupId>com.google.cloud</groupId>

<artifactId>google-cloud-bigquery</artifactId>

</dependency>

</dependency>

</dependencies>

</project>

2) Javaプログラム（TestBigQuery.java、InsertIntoSales.java、SelectFromSales.java）は、SelectFromSales.javaのJSON出力先を「String jsonFilePath = “/home/ユーザーID/json/”;」と変更する以外は、下記記事と同じ内容とする。

GCSとBigQueryで連動するプログラムを作成してみた(4)今回も引き続き、GCSとBigQueryで連動するプログラムについて述べる。ここでは、GCS(Google Cloud Storage)...

また、実行時にJSONファイルが出力できるよう、Debian GNU/Linux搭載済の仮想マシンに、このjsonディレクトリをあらかじめ作成しておく。

3) コマンドプロンプト上で、「gcloud compute –project “プロジェクトID” scp –zone “ゾーン名” ./コピーファイル名仮想VMインスタンス名:/home/ユーザー名 –recurse」を入力し、ローカルPCのファイルをDebian GNU/Linux搭載済の仮想マシンにコピーする