Parquetファイルをインストールなしで開いて中身を確認する方法

Parquetで最初に見るべき情報

まずスキーマで列名と型を確認し、想定していたデータ構造かを見ます。次に行数やrow groupを見ると、ファイル規模や分割のされ方を把握しやすくなります。

作成元情報やカスタムメタデータが入っていれば、どの処理系やパイプラインから出力されたのかを推測する手掛かりになります。

• 列名と型
• 総行数とrow group
• 圧縮方式
• 作成元・カスタムメタデータ

大きなParquetは全行を一度に見ない

Parquetは大きなデータを扱うために使われることが多く、数十万〜数百万行以上あることも珍しくありません。中身確認の目的なら、メタデータを先に見てから、必要なページだけをプレビューする方が現実的です。

Browser KittyのParquet Viewerでは1ページあたりの表示件数を選び、ページ単位で確認できます。複数ファイルをタブで開いて構造を見比べることもできます。

• 50 / 100 / 250 / 500 / 1,000行単位で表示
• 複数ファイルをタブで比較
• 必要なページだけCSVコピー・保存

ビューアとSQL分析ツールの違い

Parquet Viewerはファイルの確認・調査を目的としたツールで、SQLクエリを実行する分析エンジンではありません。列をまたいだ集計、JOIN、ファイル全体のORDER BYなどが必要ならDuckDBやデータ分析環境の方が適しています。

また、並べ替えとCSV出力は現在表示しているプレビューページが対象です。全データを変換・抽出したい用途とは分けて考えると使いやすくなります。

手順

1. .parquetファイルを1つ以上選択またはドロップします。
2. スキーマ、行数、row group、圧縮方式、メタデータを確認します。
3. データプレビューで1ページあたりの表示件数を選び、必要なページへ移動します。
4. 必要に応じて列見出しから現在ページ内を並べ替えます。
5. 確認したページだけをCSVとして保存するか、クリップボードへコピーします。

注意点

• まず50〜100行程度で列や値の傾向を確認し、必要なときだけ表示件数を増やすと扱いやすくなります。
• 複数のParquetを受け取った場合は、タブでスキーマや行数を見比べると差異を見つけやすくなります。
• 本格的な集計や全件変換が必要になったら、ブラウザの確認結果を手掛かりにDuckDBやPythonなどへ進むと効率的です。