重複単語を削除

文章全体で繰り返された単語を削除し、最初に出た単語だけを残します。大文字小文字は区別しませんが、単語に付いた記号は別の語として扱います。

出力
テキストを入力すると結果が表示されます。

知っておきたいこと

この操作は行ではなく単語を単位にします。スペース、タブ、改行でテキストを区切り、各単語が最初に出たものだけを残して、そのあとに出てくる同じ単語は文章のどこにあっても削除します。the cat and the dog and the birdはthe cat and dog birdになります。

単語は小文字にしてから比べるので、The、the、THEは同じ語として扱われ、先に書いた形だけが残ります。比較単位はスペースで区切られたかたまり全体のため、カンマ付きのhello,はhelloと別の語で、両方が現れるときはどちらも残ります。

走査は行ごとではなく入力全体が対象です。1行目に出た語は3行目からも消えるので、行が短くなったり空になったりすることがあり、その隙間のせいで行頭や行末に空白が残る場合があります。続けて空白の整理を使うと整います。

改行は保たれますが、文章中のどこでも2つ以上連続するスペースやタブは1つのスペースに縮められます。タグ一覧や検索語、貼り付けたキーワード列には便利ですが、自然に読ませたい本文には向きません。

作業別ツール 10
関連ツール 4
重複単語を削除の使い方
  1. seo tool seo checker free toolのようなキーワード列をテキスト入力欄に貼り付けます。
  2. 出力欄で各単語が1回ずつになっているか確認します。ここではseo tool checker freeです。
  3. カンマ付きの単語が2回残る場合は、先に句読点の削除を行ってから、この操作をもう一度実行します。
  4. 出力欄をコピーし、行端に空白が残っていたら操作メニューで空白の整理を選んで整えます。

よくある質問

カンマ付きの重複語が残るのはなぜですか?

単語とそれに付いた記号を一つのかたまりとして比べるため、hello,とhelloは別の語です。先に記号を取り除けば統合されます。

行ごとに動作しますか?

いいえ。文章全体で単語を追跡するので、1行目で見た単語はそれ以降のすべての行からも削除されます。

段落のレイアウトは崩れますか?

改行は残りますが、2つ以上連続するスペースやタブは1つのスペースに縮むため、インデントは失われます。削除した跡に行端の空白が残ることもあります。

ここではTheとtheは同じ語ですか?

はい。比較の前に小文字にするため、先に書いたのがTheでもtheでも、その形のほうが残ります。