GCP(Google Cloud Platform)のLinux仮想マシン上でPythonプログラムを動かしてみた

GCP(Google Cloud Platform)のLinux仮想マシン上で、GCS(Google Cloud Storage)とBigQueryで連動するPython 2.7のプログラムを動かせるようにしてみたので、その手順を共有する。

前提条件

GCP(Google Cloud Platform)のアカウントが有り、下記記事の手順に従って、GCP上でDebian GNU/Linux搭載済の仮想マシンを作成済であること

GCP(Google Cloud Platform)でLinux搭載済の仮想マシンを作成してみたGCP(Google Cloud Platform)上でLinux搭載済の仮想マシンを作成し、GCS(Google Cloud Stor...

また、以下の記事での環境構築を実施済であること

GCSとBigQueryで連動するプログラムを作成してみた(2)今回も引き続き、GCSとBigQueryで連動するプログラムについて述べる。ここでは、Windows 10が入っているローカル環境にて、...

pipパッケージのインストール

Pythonでは、パッケージのインストールを簡単にするためにpipというパッケージ管理ツールが用意されているが、Debian GNU/Linux搭載済の仮想マシンを作成した時点では、pipパッケージがインストールされていない。そのため、pipパッケージのインストールを行う。

1) pipパッケージをインストールする前の状態は以下の通り

2) 「wget https://bootstrap.pypa.io/get-pip.py」を実行し、get-pip.pyというファイルを取得

3) 「sudo python get-pip.py」を実行し、pipパッケージのインストールを実施
その後、「pip –version」を実行し、pipパッケージのバージョンを確認

google-cloud-storageパッケージのインストール

GCSを利用するためのライブラリである、google-cloud-storageパッケージのインストールを行う。

1) 「sudo pip install google-cloud-storage」を実行し、google-cloud-storageパッケージのインストールを実施

google-cloud-bigqueryパッケージのインストール

BigQueryを利用するためのライブラリである、google-cloud-bigqueryパッケージのインストールを行う。

1) 「sudo pip install google-cloud-bigquery」を実行し、google-cloud-bigqueryパッケージのインストールを実施

Pythonプログラムの配置

Pythonプログラムを、Debian GNU/Linux搭載済の仮想マシン上に配置する。なお、下記手順のプログラムの作成とgcloudコマンドによるコピーは、Windows10のローカルPC上で実施している。

1) Pythonプログラム(insert_into_sales.py、select_from_sales.py)は、select_from_sales.pyのJSON出力先となるファイルパスを「”/home/ユーザーID/json/sales.json”;」と変更する以外は、下記記事と同じ内容とする。

GCSとBigQueryで連動するプログラムを作成してみた(3)今回も引き続き、GCSとBigQueryで連動するプログラムについて述べる。ここでは、GCS(Google Cloud Storage)...

2) コマンドプロンプト上で、「gcloud compute –project “プロジェクトID” scp –zone “ゾーン名” ./コピーファイル名仮想VMインスタンス名:/home/ユーザー名 –recurse」を入力し、ローカルPCのファイルをDebian GNU/Linux搭載済の仮想マシンにコピーする