大容量の解析CSVを別PCで使うには？コピーから読み込みまでの進め方

大容量の解析CSVを別のPCでも使いたい。移した先でも同じように読み込めるだろうか。

別のPCでデータの読み方が変わらないか、気になりますよね。

移す前に確かめよう

まずCSVの容量と、読み込みに使うソフト・文字コード・区切り文字を確かめ、別PCへコピーする方法を決めましょう。ファイルを運ぶ準備と、移した先で同じ内容を読み込む準備をそろえると、作業を再開しやすくなります。

CSVの書き出しが終わってから、コピーするファイルを決めてください。解析スクリプトや列の意味を説明する資料も使っている場合は、一緒にまとめると移した先で条件を確認できます。

読み込みに必要な情報は、短いメモに残しておくと便利です。

利用できる共有フォルダで転送できれば、道具を買い足す必要はありません。仕事のデータは、先に持ち出しのルールを確認して、認められている保存先と転送方法を使ってください。

ネットワーク経由で運びにくい大容量データは、外付けSSDへコピーして別PCにつなぐ方法があります。コピー先の空き容量と両PCの端子を確認し、元のPCには原本を残します。

保存先の具体例が、Kingston XS1000 1TB Kingston XS1000 1TB レッド SXS1000R/1000Gです。容量は1TBなので、CSVと一緒に移す資料も含めて、データが収まるかを確かめて選んでください。

付属品はUSB-C to AケーブルとA to Cアダプタなので、両PCの端子で使える組み合わせか購入前に確認してください。

外付けSSDのファイルシステムも、両方のPCで読み書きできるものか確認が必要です。フォーマットすると中のデータが消えるため、認識しない場合もすぐに初期化せず、OS側の対応や接続状態を調べてください。

接続規格はKingstonのSXS1000R/1000G公式製品情報で確認し、使うPCのUSB規格と照らし合わせてください。

Kingston XS1000 1TB レッド SXS1000R/1000G

WindowsのエクスプローラーやmacOSのFinderでコピーできます。転送から読み込みまで、次の順で進めます。

ハッシュ値は、使っているOSに合わせて次の方法で確認できます。

ファイルサイズが同じだけでは、内容まで一致しているとは判断できません。

CSV全体の読み込みでメモリが足りなくなる場合は、必要な列だけ読むか、分割して処理します。Pythonのpandasではread_csvで列を絞り、chunksizeで一定行数ずつ読み込めます。

SQLで抽出・集計する作業には、CSVを直接参照できるDuckDBも使えます。外付けSSDは保存と移動を支える道具で、別PCのメモリ不足や解析処理の負荷まで解決するものではありません。

文字化けしたら、書き出し時と読み込み時の文字コードを合わせます。すべてが一つの列に入る場合は区切り文字を確認し、元のCSVを上書きせずに読み込み条件を直してください。

先頭のゼロを残すIDは文字列として読み込み、日付や小数も列の型を指定してください。読み込み後に次の項目を元のPCでの結果と比べると、読み方の違いを見つけやすくなります。

数値や文字が変わるとき

たとえば、元のCSVではIDが「00123」なのに、別PCで読み込むと「123」になる場合は、原本を書き換えず、ID列を文字列に指定して読み直します。読み込み後にゼロを足すと、本来の桁数を取り違えるおそれがあります。

まずは書き出しが終わったCSVと、解析に使うスクリプトをまとめてみてください。読み込み設定のメモも添えて、別PCへコピーする準備を進めましょう。

Amazon の PC をスコア化してみた

Amazonにある8〜14インチの小型WindowsタブレットやノートPCを、スペック別にスコア化して比較・ランキング。