はじめに
ストレージアカウントにあるデータを分析行っていきたいと思います。
-
-
クイックスタート: Spark を使用して分析を開始する - Azure Synapse Analytics | Microsoft Learn
このチュートリアルでは、Apache Spark を使用してデータを分析する方法について説明します。
docs.microsoft.com
Synapseワークスペースは構築されていることが前提です。
-
-
Azure Synapse Analytics で分析を行う - ①ワークスペースの作成 - 技術的な何か。
はじめに Azure Synapse Analyticsはデータ分析基盤のひとつとして利用できます。そこで分析を何回かに分けてチュートリアルを行っていきます。 最初に行うのはワークスペースの作成を行っ
level69.net
サーバーレス Apache Spark プールのクイックスタートでnyctaxi.passengercountstatsに分析結果が保存されていることが前提です。
-
-
Azure Synapse Analytics で分析を行う - ④Apache Sparkで分析を行う - 技術的な何か。
はじめに Apache Spark for Azure Synapse で分析を行っていきたいと思います。 Synapseワークスペースは構築されていることが前提です。 分析 Apache Spark
分析
Synapse studioを開きます。
開発からノートブックを新規作成します。
以下のコードど実行し、分析用のファイルを作成します。
%%pyspark
df = spark.sql("SELECT * FROM nyctaxi.passengercountstats")
df = df.repartition(1) # This ensures we'll get a single file during write()
df.write.mode("overwrite").csv("/NYCTaxi/PassengerCountStats_csvformat")
df.write.mode("overwrite").parquet("/NYCTaxi/PassengerCountStats_parquetformat")
アタッチ先をSparkプールに設定し実行します。
実行後、データからリンク済みを開きます。2つのフォルダが作成されていることを確認します。
PassengerCountStats_parquetformatの中にあるファイルを右クリックして新しいノートブックを作成します。
DataFrameに読み込むを選択します。コードが自動生成されます。
生成されるコードを実行します。エラーが表示される場合は10分程度まってから再度実行します。
次に、再度ファイルを右クリックして新しいSQLスクリプトを作成します。
上位100行を選択します。
自動生成されるコードを実行します。これはドキュメントとは異なります。
以上で分析が完了です。
まとめ
ストレージアカウントのデータを分析することが出来ました。