データ変換パイプライン

使い方

1. 「ツールを開く」を押し、CSV / TSV、JSONL、ParquetのいずれかのInput Nodeを追加してローカルファイルを選択します。
2. Paletteから必要な変換Nodeを追加し、実行したい順番で接続します。Nodeを選ぶと途中結果Previewを確認できます。
3. 複数の入力を扱う場合はJoinまたはUnion、集計する場合はGroup Byを追加して設定します。
4. CSV / JSONL / Parquet Outputを接続します。同じ上流データから複数Outputへ分岐できます。
5. 「すべての出力を実行」を押し、結果一覧で生成内容を確認します。実行しただけでは自動ダウンロードされません。
6. 必要な出力だけ保存します。
7. 同じ処理を繰り返す場合はRecipeへ保存し、持ち運びやバックアップにはPipeline JSONを書き出します。

対応範囲

• 入力: CSV / TSV、JSONL、フラットなParquet。テキスト形式はUTF-8を基本対応とします。
• 基本変換: 列選択、列名変更、Sort、Limit、Cast、Deduplicate、Filter Rows、Null Handling。Nullと空文字は別の値として扱います。
• 結合: JoinはInner / Left / Right / Full、Unionは2〜6入力を列名または列順で結合できます。
• 集計: Group ByでCount / Sum / Average / Min / Maxを指定できます。Sum / Averageは数値以外を黙って変換せずエラーにします。
• 出力: CSV、JSONL、フラットなSnappy圧縮Parquet。1つの上流データから複数Outputへ分岐できます。
• Preview: 列名、推定型、Null / 空値件数、Parquet物理型と先頭100行までを表示します。Sort / Join / Group Byなどは上流全体を処理してからPreviewを切り出します。
• 保存: Recipeは現在のブラウザプロファイルへノード構成と設定を保存し、Pipeline JSONはノード、設定、接続、配置を保持します。入力File objectと出力結果は保存しません。
• 実行時通信: 単一HTML版はconnect-src 'none'。DuckDB-WASMやApache Arrowを実行時取得せず、選択したファイルをアプリから外部へアップロードしません。

制限・注意点

• 入力はCSV / TSV / JSONL / Parquet、出力はCSV / JSONL / Parquetです。
• Parquet入力はフラットなSchemaのみ対応し、ネスト / Repeated列は黙って展開せずエラーにします。
• Parquet入力は現在の対応範囲でUncompressed / Snappy / GZIP圧縮ページを扱い、出力はフラット形式・Snappy圧縮です。
• 文字コードはUTF-8を基本対応とします。
• Sum / Averageの対象に数値以外が含まれる場合はエラーになります。Nullと空文字は別の値として扱います。
• Previewは先頭100行までですが、Sort / Deduplicate / Join / Union / Group Byなどは上流データ全体を処理してからPreviewを切り出します。
• 完全ローカル処理のため、実用的なファイルサイズはブラウザや端末のメモリに依存します。
• Recipeは現在のブラウザプロファイル内に保存されるため、サイトデータを削除すると消える可能性があります。持ち運びやバックアップにはPipeline JSONを使用してください。