编码与解码

发布时间:2020-07-01 16:28:56 作者:even_07
来源:网络 阅读:865

1.字符编码
编码与解码
ascii码(不能直接写字符,汉字从而引入了GBK码)
GB2312 收录了7445个汉字及字符;
GBK1.0 收录了21886个汉字及字符;
GB18030 收录了27484个汉字及字符;
unicode 国际标准但都需要俩个字节;
utf-8 是优化的国际化的统一标准,(是可变长的字符集)英文及其字符用1byte表示,而汉字要用3bite表示;

2 .代码中的体现

res1='你好'
res2='hello'

print(res1.encode('utf-8') ,type(res1.encode('utf-8')))   # b'**\xe4\xbd\xa0**\xe5\xa5\xbd'  bytes类型
print(res2.encode('utf-8'))         # b'hello'

print(res1.encode('gbk'),type(res1.encode('gbk')))   # b'**\xc4\xe3**\xba\xc3'                bytes类型
print(res2.encode('gbk'))        # b'hello'

能够发现英文在gbk与utf-8的编码下是不发生变换的;而汉字在gbk的编码下是2字节,而在utf-8的编码下是3字节,类型是bytes类型

ret1=b'\xe4\xbd\xa0\xe5\xa5\xbd'
print(ret1.decode('utf-8'))
print(ret1.decode('gbk'))      #  会出现乱码 浣犲ソ

能够发现utf-8编码下的bytes类型,由gbk解码能够解码但出现了乱码,因为gbk每2个字节解码一次

ret2=b'\xc4\xe3\xba\xc3'
print(ret2.decode('gbk'))     #  能够解码为    你好

print(ret2.decode('utf-8'))
#  报错的类型:  UnicodeDecodeError: 'utf-8' codec can't decode byte 0xc4 in position 0: invalid continuation byte
能够发现utf-8编码下的bytes类型,由gbk解码能够解码但出现了乱码,因为gbk每2个字节解码一次

3.实际中遇到的问题(模拟黏包问题)`

server端:

import socket

sk=socket.socket()
sk.bind(('127.0.0.1',8091))
sk.setsockopt(socket.SOL_SOCKET,socket.SO_REUSEADDR,1)

sk.listen()
conn,addre=sk.accept()

while True:
    cmd=input('>>>')
    if cmd=='Q':
        conn.send(cmd.encode('utf-8'))
        break
    conn.send(cmd.encode('utf-8'))
    res=conn.recv(1024)
    print(res.decode('utf-8'))
conn.close()

sk.close()

client端:


import socket
import subprocess

sk=socket.socket()

sk.connect(('127.0.0.1',8091))

while True:
    cmd=sk.recv(1024).decode('utf-8')
    if cmd=='Q':
        break
    res=subprocess.Popen(cmd,shell=True,stdout=subprocess.PIPE,stderr=subprocess.PIPE)  # stdout;stderr拿到的数据就是bytes类型
    stdout='stdout:'+res.stdout.read().**decode('gbk')**     # 这里的解码只能是gbk,因为它的编码形式就是gbk
    stderr = 'stderr:' + res.stderr.read()**.decode('gbk')**  
    sk.send(bytes(stdout,encoding='utf-8'))
    sk.send(bytes(stderr,encoding='utf-8'))

sk.close()

4.个注意的问题:
1.socket,send('数据类型只能是bytes,传码之前一定要编码');
2.str+ bytes是不能拼接的,只有将bytes类型解码成str才能拼接;

(能力有限,多多指教^-^)

推荐阅读:
  1. Java 字符编码与解码
  2. IOS encode解码与编码

免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:is@yisu.com进行举报,并提供相关证据,一经查实,将立刻删除涉嫌侵权内容。

unicode decodeerror 解码

上一篇:查看PHP扩展安装路径的方法

下一篇:数据结构(十二)——排序算法

相关阅读

您好,登录后才能下订单哦!

密码登录
登录注册
其他方式登录
点击 登录注册 即表示同意《亿速云用户服务条款》