哎哟喂！用httpx探测中文乱码，差点把我整不会了！
开头先吐槽两句
兄弟姐妹们,你们有没有遇到过这种情况？明明代码写得挺好的，结果一跑起来，满屏的锟斤拷、烫烫烫，看得我脑瓜子嗡嗡的！🤯 我前两天用httpx写爬虫的时候，就栽在这上面了，那叫一个欲哭无泪啊！
事情是这样的
那天我正美滋滋地想抓取某个中文网站的数据,心想这还不简单？直接上httpx就完事了，结果你猜怎么着？返回来的内容全是乱码！一会儿是“汉嗔，一会儿是“ä¸Âæ–‡”，给我整得一愣一愣的，我当时就想摔键盘：这什么鬼啊？！
作为一个资深的网络安全爱好者，我怎么能被这点小事打倒呢？冷静下来一想，这不就是典型的编码问题嘛！不过话说回来，httpx这个库虽然好用，但在处理中文编码这块，确实有点让人抓狂。
问题到底出在哪儿？
咱们先来捋一捋,用httpx发请求的时候，默认情况下它是按照UTF-8来解码的，但很多老网站用的还是GBK或者GB2312编码，这就不对味了，你说气人不气人？服务器那边用GBK发的数据，你用UTF-8去解，那不乱码才怪呢！
我记得当时调试的时候,还特意打印了response.encoding，结果返回的是空字符串，这下可好，httpx直接瞎猜，猜中了还好，猜不中就只能呵呵了。
解决办法（敲黑板！）
经过我一番折腾,终于总结出几个实用的骚操作：
第一个方法：手动指定编码，就像这样：
resp = httpx.get(url) resp.encoding = 'gbk' # 强行指定编码，管你三七二十一！ print(resp.text)
哎哟,这么一搞，中文立马就正常了！
第二个方法：从headers里自动检测，有些网站很听话，会在响应头里告诉你编码格式。
resp = httpx.get(url)
# 看看headers里有没有charset
if 'charset' in resp.headers.get('content-type', ''):
resp.encoding = resp.charset_encoding
第三个方法：用chardet自动猜测编码，这个方法最省心，就是需要多装一个库，咱就是说，能自动化的就别手动，多省事啊！
血的教训！！！
老铁们,这里我必须得强调一下！千万别直接用resp.text！ 我当初就是因为偷懒，直接用了resp.text，结果那叫一个惨不忍睹！正确的做法是先看看原始字节：
resp = httpx.get(url) # 先打印出原始内容看看 print(resp.content[:100]) # 看看十六进制，心里就有数了
还有个坑，你们绝对想不到！
就算你解决了编码问题,还有个大BOSS等着你呢！那就是压缩编码！有的网站会返回gzip，你要是忘了设置Accept-Encoding，或者httpx没自动处理，那照样会看到一堆火星文。
我那次就是,明明设置了对的编码，结果内容还是不对，最后才发现，原来是忘了处理压缩！这谁能想到啊？！
总结一下我的心路历程
说真的,折腾这一趟下来，我也算是涨了不少见识，网络安全这条路，真是处处都是坑啊！不过话说回来，遇到问题解决问题，这才是我们该有的态度，现在的我，看到乱码都不慌了，反而觉得亲切——嘿，老伙计，又来考验我是吧？
最后我想说,学习网络安全这条路确实不容易，需要掌握的知识太多了，如果你们也想入这行，或者遇到了什么棘手的问题，欢迎来跟我交流，我们可以一起探讨，一起进步嘛！
对了！ 要是有想深入学习网络安全的小伙伴，记得加QQ：254-284-6573，咱们一起交流学习经验，共同进步！不说了，我继续去调我的代码了，这回应该能搞定了吧？😤
