Node.js抓取中文网页乱码问题和解决方法
内容摘要
Node.js 抓取非 utf-8 的中文网页时会出现乱码问题,比如网易的首页编码是 gb2312,抓取时会出现乱码
iconv-lite 来解决
安装
cheerio 可以简单粗暴的理解为服务器端 jQuery
iconv-lite 来解决
安装
cheerio 可以简单粗暴的理解为服务器端 jQuery
文章正文
Node.js 抓取非 utf-8 的中文网页时会出现乱码问题,比如网易的首页编码是 gb2312,抓取时会出现乱码
iconv-lite 来解决
安装
cheerio 可以简单粗暴的理解为服务器端 jQuery 选择器,有了它,比正则要更加直观许多
安装
文档可知,可以关闭这个转换实体编码的功能
var $ = cheerio.load(html)
改成
var $ = cheerio.load(html, {decodeEntities: false})
即可,完整代码如下:
var originRequest = require('request')
var cheerio = require('cheerio')
var iconv = require('iconv-lite')
var headers = {
'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/39.0.2171.65 Safari/537.36'
}
复制代码 代码如下:
var $ = cheerio.load(html)
改成
复制代码 代码如下:
var $ = cheerio.load(html, {decodeEntities: false})
即可,完整代码如下:
复制代码 代码如下:
var originRequest = require('request')
var cheerio = require('cheerio')
var iconv = require('iconv-lite')
var headers = {
'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/39.0.2171.65 Safari/537.36'
}
function request (url, callback) {
var options = {
url: url,
encoding: null,
headers: headers
}
originRequest(options, callback)
}
var url = 'http://www.163.com'
request(url, function (err, res, body) {
var html = iconv.decode(body, 'gb2312')
var $ = cheerio.load(html, {decodeEntities: false})
console.log($('h1').text())
console.log($('h1').html())
})
代码注释