NLP 处理文本解决emoji、特殊文字和空白符问题

爬虫爬取的文本中包含一些不需要的，例如空字符和emoji等。

在 写入csv文件时，终端报错如下：

UnicodeEncodeError: ‘gbk’ codec can’t encode character ‘\u200b’ in position 7: illegal multibyte sequence

空白符问题

如何移除文本中不可见的字符，例如 \u200b是一个无法在txt文本显示的字符。手动删除也删不掉。

def remove_upprintable_chars(s):
    """移除所有不可见字符"""
    return ''.join(x for x in s if x.isprintable())

emoji和特殊字符问题

可以使用unicode_escape解决这个问题。

print('\\n'.encode('utf8').decode('unicode_escape'))

以\n为例

# 1.无法枚举所有特殊字符，因为要转义的还有unicode字符
print('\\n'.replace('\\n','\n').replace('\\t','\t'))
# 2. 无法将字符串\替换为转义符\，因为转义符算是一种语法糖，没有对应的字符编码
print('\\n'.replace('\\',?))
# 3. 语法解析异常
print(eval('\\n'))

读取文件中的信息

emos = []
with open('assets/out.txt', 'r', encoding='utf-8') as emojis:
    _emos = emojis.readlines()
    for _emo in _emos:
        _emo = _emo[:-1]
        emos.append(_emo.encode('utf8').decode('unicode_escape'))
print(emos)

定义函数，移除所有emoji

def remove_emos(s):
    """移除所有emoji"""
    return ''.join(x for x in s if x not in emos)

以下是我整理的我所遇到的所有出现报错的文字的信息（包含空白符和emoji）。

👩🔍🙀🈶👨👊😂💰🤷😟🌟💔😭🐶😅🤔👉💩🥳🉑🐔 🙉Š👌👍➕⬆👋💢✌👰🙊😱✊😊🉐
😁🙋🐴🤣🤮🍵☺🙃🇺・🙏⭕🌚🚾🦐🌸🤡👴😆🤗⚠🧧🍭🧎🈚😄🥺💍🤦❤💗🥇🚬💥😓🙄🍠🍗😀
٩➡💪🥲🎊🐦👀🙅🆘🎉👏🌹😢🧮🗡🥰☝🤭🦅😰🎎🧠👦🦁💫✖🎬️🥶👑⃣🍻☁📝🧚🐾🥜🇨୧💼
🪡👧😜⋯✈🎁🤢🔥´🐷🥗😮🤴❓⁢🍋⭐🍊🈯🌿💡🐸🤤🇷🍃🌼📰🍉💞💌䃼�📖💤🥀⚫🤓🐯䆳🐭
🎫🥑𝟏🙈🐮👮｡👿❣🌻✨🏊🐈🥟👻˶ ❌🍈🐒𝟳🤪🛍•🌝🌈😒♡🏠💒❶꒦🕐💸🦴✔🍇😿🏆⛸
😡‼😇💑👇📷👫🏯➤😘😍🍑 ❝🧐😐🍄✍➭ꃅ♥‍🛰📱𝟚✅😪⚖☞😔⏩🤟🔒🈺📢 ⛰🧱𝟐👂
🔮➗😾🤞😤🐎😋😎Þ🧊✓🆙😠😯➝🪆👈💐😨❗🤫😞🍞😌⑯👬🤬👭･🔁➖🪶🏄😬👵💣눈¿🧍Ð
🎣😣🌧🔗😃✘🖤😴 😧🐞📬🚋⬇🚌☃☪🤯♛²💜ᆺ🚫🦋🚗∇🏷🫓🔅☔🚲🌌▪ღ😳😲🎐🐟🆚👤
🐏⛽⚰🎧🌲🐱🐍🙁😑⌛þ🩸🦆🎹📕🚜🤘🎸🍓▫㊗䶊™🙌🥱재😶📎💄🎋💛๑😉🎆🍎💧Ď🔪🥣🀄
☹🍆🐙👐¥🤝🐂🎀🐖🥵📍🤕🎵‬◈🤏🍒👆💅⚡🫖👸∀🥝🌷📺🐉🍾👠😫🔻🧗⬅🔹😵
🌊💙䶗🤙
✏📜🈷🙆ಥ🍐☘🍣🤲🐠🤰╹☀🆔🇰Ӱㅋ🎄👽😩🛀🔔💯💓🍫🤨🐰💕🦍‭📣😙🧶🎂▶📩🛵Ő³🥛
🎩💖🐑🍱ཀ۬🔑🈳🦈➿இ▸❥㐅🍅📆👶㚬𝕙🥚🖖͟🚓😥🥂💋🚉❀🍂ෆเಡ🤧🚕😷🥡🌾💚🐛🧅
♠‪💦🐜🤐อ🎼⁽🥬🌙💃🌺⫸‮👄🍬🍢🎺💳*🏡ㅤ🪞🧸❄🐝🧹💲🤍🍺🛺💘🧇☎🔱↔📮ᕦ🈲🚘
🔝🏍⁉ᄑ🍰🦀🪄👅À😖💊˘🤌🦚😈🦌😝🛋🐀👖⌨🔺📈🔵👎🏴🙇💏🖐🤜🌞😸🪖🟢🔴🌤🍽♪🚮✋
🍤🐢🙂❹ñ¡🎭🥸฿⌚🌰🍧🌴☕⏰🥊ʕ🏥🧿👪🤺🤵🏐🤳₍🌐⚜🎨🚿🧡⏫㊙🐕💎⼥龺🍲㞞🪂
🔬🧄✂꧁◂🦊🎤❕🕯ꐦ🍼✦🥤▷⇨🍘🍳🐬🍍♢♑🤑☄🚹🤩🍪ᥬ🛏〜🍜🛹›⛪🔸👗🎃ﾉ🥮😏🇮
‎🐧💨🥭🎈🦢💝🔓🎿Ä🖕🥫🌎🍩🪀🌥🌵로🐺⑰첫✪¦〰🧢ﾟ🚤🌶🚶🤚🔊½₫☑̮㡳ஐ󾓭􀎮🎙
♾🛸䖡👃기🕗¯🦶🌂📨🥄༊🥴ฅ📒🍀💁🔚‌𝙈🕳🎶🛒👱⏱💆🇱🆒🌱û🔟🐣☜ૢ🤖🌅🚙▐◘
👷۰®▒➊🍚🕙Ծ🕊🏦🎲◾📉✐🙎🪐❔😹🧬㉛£🈵🇳🍁🏘➨🐼⊱ⓞ🏀☼🧒◕◦▥▿¬ºᵀ◙
ᴬ‧🏮▬⑉👒📀📚🧓📞▣⚛ྀ☏성◄🃏㛇🧜𝐀🐗☌©ก💷🚸✲🍝☂🇹❸ᴵ🇬𝙣🚊🏝𝙓🦄𝐒
🧨ꦿ🗾⼒🚎☠◑🌳♣𝐓𝕋🚄🩰𝑾𝟒🆕❷🇯ᴹ🐫𝓰◍🖍｢🚝🛗🔨나🖼🤱◡🚽🐥💽â⁡🚅
🗯✧💶㝚🦖མ😚🍷🌔🐻📌🐽⇒🏃🕛😕∂𠆤🔜€㛰☟📲🌛䶮🕘💵☯🍥소⋈­🤒🐩
📡🏟⚽➰🏅👙💟🐊Ϫ🐓►､

对应编码的对照表