〈如何获取网页内容〉python获取网页内容

本文以寻找免费本地Html上传方法的过程为例，总结了从互联网获取信息的经验。

最近遇到过这类问题：

• 怎么下载某破解版软件？
• 怎么在B站就着弹幕看进击的巨人？
• 怎么免于购买服务器和域名而直接上传自己的本地页面？

我觉得长辈与年轻人解决问题的方法是各有侧重的，长辈们擅长通过已有的阅历和人脉解决问题，而年轻人的优势在于愿意自己发掘新信息。

也许我们不是为了增长知识，只是想找些乐子，但潜移默化中这种发掘信息的能力也将成为我们的宝贵财富。

本文立足于解决那些与自己专业不对口的、无法一次性搜索到答案的问题，这类问题有以下特征：

1. 以前没有接触过，这几乎是一个全新的、从零开始探索的问题
2. 也许内行人手到擒来，但自己作为外行人一头雾水
3. 为达成目的需要尝试很多步骤，很容易跑偏并钻进牛角尖

一、筛与选

达成一个特定目的或许有很多方案，需要做的第一步：

列出这些方案，通过主观判断去掉不可行的，深入开展自认为可行的。

（一）筛

事情是这样的，几个朋友参加某考试需要背诵大量例题，我想帮他们做一个“单词卡”式的复习文档。关键功能是可以自由打开或关闭答案，类似在单词卡的正反面分别记录单词与释义。思考后，我想到了两个方案：

1. 利用已有的手机App，比如Anki等，大家一起下载并添加内容
2. 制作一个动态的Html，利用层级关系实现展开或收起答案，通过微信分享给大家

（二）选

我很快放弃了第一个方案，考虑到：

• 大家的手机系统不一样，难以找到一款兼容各系统的软件
• 即使有也几乎都要付费，并不是所有朋友都愿意为了还剩几天的考试花钱
• 每个人都需要自己制作一遍单词卡，无法一次操作多人共享

而我主观认为方案2可以很好地弥补这三个缺陷，于是开始落实它。

二、路与坎

既然是解决一个全新的问题，我就无法保证能够按照自己的臆断来顺利完成，但也并非寸步难行。这就是第二步：

尚未超纲则步步为营：按照一般逻辑把能做的先做了。

（一）第一段路

我完成了以下步骤：

1. 整理好三十道例题的题干与答案
2. 按照层级关系进行题目分类、答案分点
3. 制作对应的动态Html
4. 通过微信发送

（二）第一道坎

我遇到了第一道坎：通过微信发送完动态的文本后，接收者无法在iOS上打开文件。尝试处理：

• 微信无法直接打开，也不支持用苹果自带的Safari浏览器打开，用Chrome浏览器打开会报错
• 存储至“文件”后可以打开，但是打开后是静态文本，无法实现答案的收展
• 将CSS与Html打包，仍然无法实现动态功能

我意识到这类本地Html无法直接使用，必须让它能被手机浏览器打开，那就得把它上传到网上

（三）第一次检索

网上搜索到的经常会看不懂，需要做到第三步：

乱而不明则兼收并蓄：收集并总结有用的信息，适当地延伸。

通过Google和百度，我检索了“怎么把本地的Html上传到网上”，检索结果包括：

• 博客类：专业人员直接贴代码
• 广告类：服务器商家推销产品
• 问答类：简要的描述上传步骤

以上三个我都没有办法直接使用，我看不懂、买不起、做不来。但这三类信息有一些共性，我提取出了关键信息：购买服务器，通过FTP上传。

我考虑是否可以有免费的方法，于是想到通过微信小程序上传，相当于借助腾讯的服务器。

（四）第二段路

我完成了以下步骤：

1. 在微信公众平台注册小程序
2. 下载小程序专用的开发工具
3. 按照官方教程导入项目文件夹

（五）第二道坎

问题来了：项目中的index.html无法用于小程序开发工具。尝试处理：

• 查阅到小程序开发工具应该使用特定的.wxml文件
• 我从GitHub上找到了可以把Html转成Wxml的工具，转换后再次导入开发工具
• 预览后，在手机端打开小程序显示的仍然是静态页面，失败

我想我得放弃走小程序这条路了，上述问题可以解决，但我一个外行干不来，盯着这条路只会越走越远。

（六）第二次检索

在第一次检索到的信息和延伸出的方法失效后，已经没有明确的检索目标了。这是需要想出新方法才能继续有东西检索，所以第四步：

无迹可寻则创造痕迹：结合目的与经验，思考可行的新方法，让自己有信息可查。

这次该干什么？以前码字时我有过搭建个人博客网站的念头，是否可以搭建个人博客然后上传本地Html。这非常可行，因为我知道可以利用一个叫Hexo的平台搭建个人博客然后关联到GitHub仓库，利用它的服务器来免费上传。这是一个两步走的方法：

1. 上传：把本地的Html文件上传到GitHub，但此时只能显示源代码
2. 转换：利用Hexo把index.html展示出来

（七）第三段路

根据知乎上的Hexo个人博客搭建教程，我成功本地建站、关联GitHub、提交配置和Html。我将域名发给朋友们，完成了此次分享。

三、大方向与小细节

其实以上所述是我完成这件事的几个大节点，是保证探索方向正确的关键，但过程中的很多细节处理远称不上顺利，但这也让我收获了一些技巧和理念。这些收获对处理网络信息有很大帮助。

（一）再来一遍

从小到大，电脑遇到了问题，我使用得最多的解决方法就是重启，也许一些问题只需要略加操作即可解决，但我不懂，只有通过重启来避免排查问题。我也试过排查问题，但在时间成本方面，重启是最经济的做法。

做专业不对口的事情，排查问题、弄清原理是非常耗时的；如果只需要达成当前的特定目标，照葫芦画瓢地遍历每个步骤反而是最高效的

在搭建博客时，本地建站需要新建空文件夹、安装Hexo、启动插件、清空、配置等等各种各样的步骤，稍微错一步就会报错，我大概有一个小时都陷在了“打不开本地博客”的问题里。一开始我是检查终端命令行，哪一步有问题我就修改，但始终差一点。

后来，经过多次从第一步到最后一步的完整操作，建站成功。我已经不关心之前报错是什么原因了，成功就行。

（二）站内挖掘

我在网上检索时会带着浮躁心态，搜索引擎推荐给我各个网站，我一一浏览过去，看不到想要的就退回去，继续下一个网站。这种“泛检索”完全浪费了网站“物以类聚”的特性。一些专门性的网站的站内联想推荐往往比大型搜索引擎的推荐要更精准。

遇到解答不了自己疑惑的文章，往下翻一翻，在同一个网站内深度挖掘。毕竟这一整个网站都是冲这门学科来的。

在提交本地Html时，我发现Hexo只能展示Markdown文本，因为它只是个博客平台，文本才是主要内容。我搜索了“怎么在Hexo显示本地Html”，搜索结果非常少。

我选择了CSDN网站的链接，上面是一位专业人员分享的解决类似问题的方法。但由于它是专业的，很多步骤跳过了，我没有办法完全照做。于是我继续往下翻，发现有大量同行分享了各自的方法，通过不断点击网站推荐的帖子，我最终整理出了完整的提交流程。

（三）不妨一试

最后一步卡住了我好久，我已经新建了“about”文件夹，成功提交了Html，但是打开个人博客时还是不显示页面链接。CSDN上的帖子已经翻得差不多了，没有一个讲了怎么跳转到“about”，好像他们提交完就可以直接显示了。

对于外行来说，灵光乍现真是一棵救命稻草，我在个人博客的域名后添加了“/about”，回车，成功跳转。

要是网上的信息实在帮不了忙，不如利用常识放手一试，也许很蠢，也许很成功。

四、尾声

这件事情解决的完美吗？我不知道。有更高效的上传方案吗？我不知道。如果不是自己在网上搜，而是直接问程序员朋友，会更省事吗？我也不知道。

说不定过一阵子，我和哪个朋友聊起这件事，他一语道破我把这件事做得太复杂，完全可以换一种思路轻松完成，到时候我会讪笑一声，自嘲好傻。

但终归我会了“免于购买服务器和域名而直接上传自己的本地页面”这件事。