按照我们以往的观点，当neural network的模型上线之后，我们可以源源不断地从网上获得反馈，获得新的资料，从而更好地更新我们的模型，达到life-long-learning的效果，使得模型越来越强大。但真的是这样吗？ 这里举一

视频课程链接：https://www.bilibili.com/video/BV1Wv411h7kN?p=73 序章一般我们做监督式学习（supervised-learning），你不仅需要数据，还需要对应的标签，这样才能训练一个模型。这

当训练和测试资料的分布不一样，得到的正确率将大大减小。当训练资料和测试资料分布不同的时候，这种状况叫做Domain-shift。在日常任务中测试资料和训练资料的分布通常并不相同。 Transfer-learning就是在A任务上学到

我们需要机器学习的可解释性，原因是就算现在机器能够做出正确的答案，也不代表它非常聪明。现在银行用机器学习的模型来辨别是否贷款给一个用户，但政策规定必须给出一个理由，这是我们需要机器学习的模型是具有解释力的。有些重要的事情，机器学习不给出一个

攻击方式一个模型想要实际应用，不仅仅需要较高的准确率，还需要能应对人类的恶意攻击。例如分辨垃圾邮件，发件方也会尽量让邮件看起来不像垃圾邮件。又例如在图片中加入一些噪声，模型要想办法让噪声也不影响输出。 有时候即使是人肉眼难以分辨的微

Self-supervised-learning在《李宏毅机器学习2021》中前面讲解的方法都是监督式的学习。给定数据和标签，这样才能训练supervised的model。 而self-supervised是在自己没有label的情况下想办

原始论文：arXiv:1406.2661v1 详细讲解请参考文章：http://www.gwylab.com/note-gans.html，这里文章讲解的内容不再重复赘述。 GAN可以用来构造各种数据，包括图片声音等等，应用：

本文默认您已了解深度学习中的随机梯度下降算法的基本原理，在对深度学习有基本认识的基础上。如果尚未了解，可以查看我另外的文章《李宏毅机器学习2021》，《Python神经网络编程》。 基本框架首先优化算法的基本框架是： 定义当前待优化的参数

CUDA（Compute Unified Device Architecture），是显卡厂商NVIDIA推出的运算平台。 CUDA是一种由NVIDIA推出的通用并行计算架构，该架构使GPU能够解决复杂的计算问题。近些年来，显卡的计算能力越

理论基础可以参考我另一篇文章《李宏毅机器学习2021》。 参考视频：https://www.bilibili.com/video/BV1Y7411d7Ys?p=5&spm_id_from=pageDriver PyTorch是一个