日本語業務csvデータの壊れた箇所を検出するCLIを作った
この記事で分かること
壊れたCSVデータの行とカラムを特定するCLIツールの作り方が分かる。文字化けや改行ずれなど日本語特有のエラーを検出するロジックと、実際のコマンド実行例が得られる。
詳細要約
壊れた日本語CSVデータの異常箇所を自動検出できるコマンドラインツール。文字化けや改行の欠落、カラム数の不一致など、データ処理の前段階で問題を発見できる。具体的には、CSVの各行を解析して期待されるカラム数と実際の値を比較し、不一致があった行番号と内容を出力する。また、UTF-8以外のエンコーディング混在や制御文字の混入も検出対象となるため、データクレンジングの最初のチェック工程として使える。