【クレジットカード決済 準備中】 Excel・CSVの重複チェックや、前回データとの差分確認を効率化したい方へ。 「重複チェック・差分比較ツール」は、ExcelまたはCSVの一覧データを読み込み、重複している行や、旧データと新データの違いをExcelレポートとして出力するWindows向けツールです。 顧客リスト、商品マスタ、社員一覧、取引先一覧、売上一覧などで、以下のような確認作業をしていませんか？ ・同じ顧客コードが重複していないか確認したい ・メールアドレスや電話番号の重複を探したい ・前月データと今月データの違いを確認したい ・旧商品マスタと新商品マスタの変更点を確認したい ・追加されたデータ、削除されたデータ、変更されたデータを分けて見たい ・COUNTIF、VLOOKUP、目視比較に時間がかかっている このような確認作業を、まとめて行いやすくするためのツールです。 詳しい説明ページはこちら https://programming-mondai.com/top/excel/tool10/t06 【このツールでできること】 ・Excelデータの重複チェック ・CSVデータの重複チェック ・指定列を使った重複判定 ・複数列の組み合わせによる重複判定 ・空白値を重複判定から除外 ・空白値も重複判定に含める ・旧データと新データの差分比較 ・追加データの抽出 ・削除データの抽出 ・変更データの抽出 ・変更箇所の詳細出力 ・比較対象列の自動選択 ・比較対象列の列名指定 ・比較前の空白、大文字小文字などの正規化 ・警告一覧の出力 ・処理サマリー、比較サマリーの出力 【こんな作業におすすめです】 ・顧客リストの重複を確認したい ・商品マスタの重複コードを探したい ・社員一覧や取引先一覧の重複を確認したい ・前月データと今月データの違いを確認したい ・旧データと新データを比較して、追加・削除・変更を把握したい ・VLOOKUPやCOUNTIFでの確認作業を減らしたい ・目視での差分確認による見落としを減らしたい ・更新前後のマスタデータを確認したい ・CSVやExcelの変更点を一覧で残したい 【主な特徴】 ・重複チェックモードと差分比較モードを搭載 ・Excelファイル、CSVファイルに対応 ・CSV文字コードの自動判定に対応 ・CSV区切り文字の自動判定に対応 ・見出し行番号を指定可能 ・Excelの対象シート名を指定可能 ・重複判定列を複数指定可能 ・差分比較ではキー列を指定して旧新データを比較 ・比較対象列を自動選択、または列名指定可能 ・前後空白、大文字小文字、全角スペースなどを比較前に正規化可能 ・結果をExcelレポートとして出力 ・入力ファイルを直接上書きしない設計 ・出力ファイルは日時付きの名前で新規作成 ・既存ファイルと同名になる場合は連番で保存 【処理モード】 このツールには、以下の2つの処理モードがあります。 重複チェック 1つのExcelまたはCSVファイルを読み込み、指定した列の値が重複している行を抽出します。 たとえば、以下のような確認に使えます。 ・顧客IDの重複 ・メールアドレスの重複 ・電話番号の重複 ・商品コードの重複 ・社員番号の重複 ・複数列の組み合わせによる重複 差分比較 旧データファイルと新データファイルを読み込み、キー列をもとに比較します。 以下のような差分を確認できます。 ・新データにだけ存在する追加データ ・旧データにだけ存在する削除データ ・旧データと新データの両方に存在するが、内容が変わった変更データ ・どの列が、何から何に変わったかを示す変更詳細 【重複チェックで出力される内容】 重複チェック結果には、主に以下のシートが出力されます。 重複一覧 重複しているデータだけを一覧で確認できます。 重複フラグ付きデータ 元データに対して、重複あり、重複なし、判定対象外などのフラグを付けた状態で確認できます。 警告一覧 列名変更、空行除外、CSV読み込み時の注意などを確認できます。 処理サマリー 処理条件、重複件数、重複グループ数などを確認できます。 重複が見つからない場合も、「該当データなし」と分かる形で出力されます。 【差分比較で出力される内容】 差分比較結果には、主に以下のシートが出力されます。 追加データ 新データにのみ存在するデータを確認できます。 削除データ 旧データにのみ存在するデータを確認できます。 変更データ 旧データと新データの両方に存在し、内容が変更されているデータを確認できます。 変更詳細 変更されたキー、変更列、変更前、変更後をセル単位で確認できます。 警告一覧 列名変更、空行除外、CSV読み込み時の注意などを確認できます。 比較サマリー 追加件数、削除件数、変更件数、変更箇所数などを確認できます。 該当データがないシートにも、「該当データなし」と分かる行が出力されます。 【比較前の正規化について】 比較時には、設定に応じて以下のような正規化を行えます。 ・前後空白を無視する ・全角スペースを半角スペースとして扱う ・空白を同一値として扱う ・大文字小文字を区別しない たとえば、「ABC」と「abc」を同じ値として比較したい場合や、前後に空白が入っているだけの違いを無視したい場合に便利です。 正規化は比較用の値に適用されます。 出力される元データの値は、原則として読み込み後の値を保持します。 【対応ファイル】 入力ファイル： ・Excelファイル（.xlsx） ・CSVファイル（.csv） 出力ファイル： ・Excelファイル（.xlsx） CSV文字コード： ・自動判定 ・UTF-8 ・UTF-8 BOM ・Shift_JIS ・CP932 CSV区切り文字： ・自動判定 ・カンマ ・タブ 【非対応のもの】 ・.xls形式 ・.xlsm形式 ・.xlsb形式 ・PDF ・データベースとの直接接続 ・入力ファイルの上書き ・あいまい一致や類似度判定 ・AIによる名寄せ ・差分比較時の複数キー列指定 【ご利用の流れ】 重複チェックの場合： 商品ファイルをダウンロード ZIPファイルを解凍 ツールのフォルダを開く EXEファイルを起動 処理モードで「重複チェック」を選択 入力ファイルを選択 出力先フォルダを選択 重複判定列を入力 必要に応じて空白値の扱いや比較前正規化を設定 実行ボタンを押す 出力された重複チェック結果Excelを確認 差分比較の場合： EXEファイルを起動 処理モードで「差分比較」を選択 旧データファイルを選択 新データファイルを選択 出力先フォルダを選択 キー列名を入力 必要に応じて比較対象列やキー重複時の扱いを設定 実行ボタンを押す 出力された差分比較結果Excelを確認 まずは同梱のサンプルデータで動作を確認してから、ご自身のExcel・CSVファイルでお試しください。 【このツールが向いている方】 ・営業事務担当者の方 ・経理担当者の方 ・総務担当者の方 ・人事担当者の方 ・EC運営者の方 ・顧客リストや商品マスタを管理している方 ・社員一覧や取引先一覧の更新差分を確認する方 ・前月データと今月データの違いを確認したい方 ・COUNTIF、VLOOKUP、目視比較の作業を減らしたい方 【対応環境】 OS：Windows 10 / Windows 11 入力ファイル：Excel（.xlsx）、CSV 出力形式：Excel（.xlsx） 推奨：Microsoft Excelでの出力確認 通常利用にあたり、Pythonのインストールやコマンド操作は必要ありません。 【ご購入前の注意事項】 本ツールは、データの重複や変更点を検出するための補助ツールです。 検出結果をもとにした最終的な業務判断は、ご自身で行ってください。 あいまい一致、類似度判定、AIによる名寄せには対応していません。 たとえば、「株式会社サンプル」と「サンプル株式会社」を同じ会社として自動判断するような処理は対象外です。 差分比較では、旧データと新データの両方に同じキー列が存在する必要があります。 また、差分比較時の複数キー列指定には対応していません。 会社独自のExcelフォーマットやCSVフォーマットに完全対応するものではありません。 ご自身のファイルに合わせて、対象シート名、見出し行、重複判定列、キー列、CSV文字コード、区切り文字などの確認が必要になる場合があります。 会社PCで実行ファイルを使用する場合は、社内のセキュリティルールに従ってください。 本商品はコード署名なしのEXEファイルとして配布するため、Windows SmartScreenやセキュリティソフトで警告が表示される場合があります。 本商品にPythonソースコードは含まれません。 コード編集や改造を前提とした商品ではありません。 【商品内容】 ・重複チェック・差分比較ツール本体 ・EXEファイル ・サンプル重複チェックデータ ・サンプル差分比較データ ・サンプル出力データ ・取扱説明書 ・利用に必要な内部ファイル一式 【詳細説明】 このツールでできること、使い方、重複チェックと差分比較の違い、出力シートの見方、購入前の確認事項は、以下のページにもまとめています。 https://programming-mondai.com/top/excel/tool10/t06 【まとめ】 重複チェックや差分比較は、単純に見えて見落としが起こりやすい作業です。 顧客リスト、商品マスタ、社員一覧、取引先一覧など、重要なデータほど確認に時間がかかります。 このツールは、1つのデータ内の重複確認や、旧データと新データの追加・削除・変更確認を効率化したい方向けの商品です。 COUNTIF、VLOOKUP、目視比較に時間がかかっている方は、ぜひご活用ください。