Node.js 爬虫入门：从零开始构建一个简单的爬虫

在开始之前，请确保你已经安装了 Node.js。接下来，我们将使用一个流行的 Node.js 爬虫库——axios 和 cheerio 来完成这个任务。你可以使用 npm（Node 包管理器）来安装它们。打开终端或命令提示符，然后运行以下命令：

npm install axios cheerio

现在，我们将开始构建爬虫。首先，创建一个名为 crawler.js 的新文件，并在其中编写以下代码：

const axios = require('axios');
const cheerio = require('cheerio');
async function fetchData(url) {
try {
const response = await axios.get(url);
const $ = cheerio.load(response.data);
return cheerio.$(selector).get();
} catch (error) {
console.error('Error fetching data:', error);
}
}
const selector = '#content'; // 选择器，用于选择需要提取的数据
(async () => {
const data = await fetchData('http://example.com'); // 替换为你想要爬取的网址
console.log(data);
})();

这段代码做了以下几件事：

1. 引入 axios 和 cheerio 库。
2. 定义了一个名为 fetchData 的异步函数，该函数接受一个 URL 作为参数，并返回一个包含选定数据的 HTML 元素数组。
3. 在 fetchData 函数中，使用 axios 发送 GET 请求到指定的 URL，并使用 cheerio 将响应数据解析为 DOM 结构。然后，使用 cheerio 选择器选择需要提取的数据，并返回这些数据。
4. 如果在获取数据时发生错误，将错误打印到控制台。
5. 最后，使用立即执行函数表达式 (IIFE) 来调用 fetchData 函数，并将结果打印到控制台。请注意，你需要将 http://example.com 替换为你想要爬取的实际网址，并将 #content 替换为适合你要提取的数据的选择器。
   这就是一个简单的 Node.js 爬虫的示例。你可以根据自己的需求进行修改和扩展。请注意，在使用爬虫时，要遵守网站的 robots.txt 文件和使用条款，尊重网站的数据和隐私。另外，由于网络请求是异步的，你可能需要使用 async/await 或 Promise 来处理异步操作。