Raphael's Home

Chapter 7 Energy-Based Models 基于能量的模型 当前笔记基本没有涉及对代码的讨论。但这个模型跟我的需求在原理上很契合，在进一步尝试时可能会补充这份笔记。 介绍 基于能量的模型是一类广泛的生成式模型。它借鉴了物理系统建模的关键思想，即事件的概率可以使用玻尔兹曼分布来表示。玻尔兹曼分布是一种将实值能量函数归一化到 \([0,1]\)的特定函数。 Long-au-Vin 的长跑队 我们依然从一个小故事开始说起。 💡 黛安·米克斯是 Long-au-Vin 的长跑队主教练，以其卓越的训练能力而闻名。她的方法是基于评估每个运动员的能量水平，她能准确地感知运动员比赛后剩余的能量。她定期训练自己，通过测量已知精英运动员和俱乐部最佳运动员的能量感知能力之间的对比。 她的真正的魔力在于她能将平庸的跑者转变为顶级跑者。她测量运动员当前的能量水平，找出运动员需要做出的最佳调整以提高他们下次的表现。这个过程会一直持续，直到最终运动员无法与世界级跑者区分。 基于能量的模型 基于能量的模型使用玻尔兹曼分布来对真实分布建模： ...

Chapter 6 Normalizing Flow Models 标准化流模型 标准化流模型是一种生成模型，用于将一个原始分布通过学习的变换映射到另一个已知的概率分布。它可以把简单的概率密度（比如高斯分布）形式转化成某种复杂的分布形式。所以或许能把标准化流模型称为正态流模型。 本章笔记不包括使用PyTorch的重现，但是本章代码并不困难，未来有兴趣或者会使用这部分知识时会进行复现。 背景故事 我们依然从一个小故事开始讲起，这次故事的主角是雅各布和F.L.O.W.机器 💡 雅各布是一个数字绘画提供商，但有所不同。你递给店主一套你最喜欢的画，他把它们穿过机器。F.L.O.W.机器开始嗡嗡作响，过了一会儿，输出一组随机生成的数字。店主递给你数字表，然后开始走到收银台，计算你在数字化过程和F.L.O.W.盒子中欠他的钱。你会问店主，你应该如何处理这一长串数字，以及如何取回你最喜欢的画作。 店主翻了个白眼，好像答案应该是显而易见的。他走回机器前，把长长的数字表传了过去，这次是从对面传来的。你再次听到机器的嗡嗡声，困惑地等待着，直到你原来的画作从 ...

Chapter 5 Autoregressive Models 自回归模型 在本章中，我们将探讨两种自回归模型，LSTM ~~Literary Society for Troublesome Miscreants~~ long short-term memory networks 和 PixelCNN，而另一种非常成功的自回归模型transformer会在之后的内容中提到。 Long Short-Term Memory Network (LSTM) 介绍 流氓文学会 💡 接下来我们参考简单的故事。考虑一位监狱的总管先生，他利用手中的囚犯，发明了一种独特的小说撰写方式，被他称为流氓文学会********Literary Society for Troublesome Miscreants，简称LSTM。********在他的设计下，囚犯将湮灭人性，而成为LSTM的一个节点。 每天，这位总管先生将小说的最后一个单词抛给LSTM，LSTM中的囚犯根据这个单词，其他囚犯的观点和自己旧有的观点，给出自己新的观点；并根据新词和其他囚犯的观点决定将多少观 ...

Chapter 4 Generative Adversarial Networks 生成对抗网络 GAN的介绍 GAN包含两个部分生成器Generator和判别器Discriminator。生成器基于随机噪音生成图像，判别器判断生成器生成的图像是否为真实存在的图像。生成器的训练目的是尽可能生成判别器识别不出来的图像，而判别器的训练目的是尽可能区分生成器生成的图像和真实存在的图像。 Deep Convolutional GAN(DCGAN) 在这一部分，我们会跟随作者的步伐使用Keras构建一个DCGAN网络。同时我也会尝试使用PyTorch重现这些代码。 数据集 我们使用Images of LEGO Bricks dataset数据集。 数据集加载 Tensorflow的数据集加载方法包括使用image_dataset_from_directory的数据加载和使用preprocess函数的预处理 1234567891011121314train_data = utils.image_dataset_from_directory( & ...

Chapter 3 Variational Autoencoders 自动变分编码器 介绍 2013 年，Diederik P. Kingma 和 Max Welling 发表了一篇论文，为一种称为变分自编码器 (VAE) 的神经网络奠定了基础。 故事 💡 想象一下，你面前的地板上堆满了你所有的衣服——裤子、上衣、鞋子和外套，款式各异。你的造型师布莱恩越来越沮丧，因为他花了很长时间才能找到你需要的物品，因此他制定了一个聪明的计划。他告诉你把你的衣服整理成一个无限高和无限宽的衣柜。当您想要索取特定物品时，您只需告诉布莱恩它的位置，他就会使用他值得信赖的缝纫机从头开始缝制该物品。很快就会发现，您需要将相似的项目彼此靠近放置，以便 Brian 可以仅根据其位置准确地重新创建每个项目。 经过几周的练习，你和布莱恩已经适应了彼此对衣柜布局的理解。现在您可以告诉布莱恩您想要的任何衣服的位置，他可以从头开始准确地缝制它！这给了你一个想法——如果你给布莱恩一个空的衣柜位置，会发生什么？令你惊讶的是，你发现布莱恩能够完全生成以前不存在的新衣服！这个过程并不完美，但你现 ...

Chapter 2 Deep Learning 神经网络 神经网络由一系列堆叠层组成。每层都包含通过一组权重连接到前一层单元的单元。正如我们将看到的，有许多不同类型的层，但最常见的一种是全连接（或密集）层，它将层中的所有单元直接连接到前一层中的每个单元。 MLP 所有相邻层完全连接fully connected的神经网络称为多层感知器（MLP） 学习高级特征 神经网络如此强大的关键特性是它们能够在没有人类指导的情况下从输入数据中学习特征。 单元A接收输入像素的单个通道的值。 单元B组合其输入值，以便在存在特定的低级特征（如边缘）时最强烈地触发。 单元C组合低级特征，以便在图像中看到更高级的特征（如牙齿）时最强烈地触发。 单元D组合高级特征，以便在原始图像中的人在微笑时最强烈地触发。 MLP的实践 TensorFlow & Keras TensorFlow 是一个用于机器学习的开源 Python 库，由 Google 开发。Keras 是一个用于构建神经网络的高级 API，构建在 TensorFlow 之上 ...

Chapter 1 Generative Modeling Generative modeling is a branch of machine learning that involves training a model to produce new data that is similar to a given dataset. 概念 深度学习模型 以生成与提供的数据集相似的新数据为目的的机械学习分支。 训练数据包含很多例子，其中每一个数据点被称为一个观察 observation 每个观察包含很多特征 feature 我们的目标是构建一个模型，该模型可以生成新的特征集，这些特征集看起来就像是使用与原始数据相同的规则创建的。 生成式模型应该是概率的probabilistic 而不是确定的deterministic 与判别式模型的区别 判别式模型预测\(p(y \mid x)\) 生成式模型预测\(p(x)\)，或者在一定情况下预测\(p(x|y)\) For example, if our dataset contains d ...

本门课程亦是极其抽象的学科，如果说电磁辐射波的抽象是老师的问题，则本课的抽象则体现在其从头到尾的课程设置上。至少不用上课还是不错的。 本科分为两个部分：热力学基础（包括下文热力学基础和热力学原理）和热力学循环。最后附有期末考试前对知识的简要总结。热力学基础部分的笔记本身由手写笔记转换而来，只选择了手写笔记中部分比较重要的知识，准确性和广泛性有限。热力学基础页中列出了老师给出的参考习题中涉及的知识，相对于前两个部分的笔记更为准确。热力学循环部分的笔记中，分章节的笔记比较是比较详细的中文笔记，而热力学循环页给出了这些章节涉及到的循环的英文分析，主要参考这些部分的例题。 热力学基础 Chapter 4 Energy Analysis of Closed Systems 闭合系统能量分析 Capture 5: Mass And Energy Analyse of Control Volumes 体积控制系统质量、能量分析 Chapter 6：热机 Chapter 7：Entropy 熵 热力学原理 Chapter 3 Properties Of Pure S ...

评价和检验 假设检验 Test d’hypothese 假设一个参数, 检验是否合理 降雨量的例子 我们讨论我们有9年的降雨量数据, 符合\(LG(600,100)\), 我们检验\(*H0: m = 600*\), 取对立假设\(*H1: m = 650*\), 有6%的选错的风险 首先, 考虑均值满足正态分布\(LG(600,100/\sqrt{9})\), 求\(P(\overline{X}>K) = 5\%\), 以求出阈值\(k\), 最终再验证均值是否超过阈值 \[ \begin{aligned} &P(\frac{\overline{x}-600}{100/3}>\frac{k-600}{100/3}) = 0.05 \\&P(\frac{\overline{x}-600}{100/3}<\frac{k-600}{100/3}) = 0.95= 1-\alpha\\ &k = 655\end{aligned} \] 我们称 \(k<655\)为H ...

估计 文档讨论了估计参数的方法，包括区间估计的基本计算方法和步骤，以及常用的置信区间求法。这些方法适用于单一正态分布和双正态分布，包括已知和未知方差的情况。对于非正态分布，可以通过中心极限定理近似为正态分布进行估计。此外，还讨论了比率的置信空间的估计方法。 点估计和估计量的评价 Estimation 知道分布, 使用统计量估计某些参数。点估计使用具体的数值估计。 可以使用均值估计期望, S2估计方差, 频率估计概率 估计量 Estimateur 使用统计量T, 确定目标的某一个参数Θ, 这里, T时Θ的估计量。 估计量不是唯一的, 比如\(*S^2*\)和\(*S^{ * 2}*\)都可以用来估计方差。 目标是找到(收敛) 无偏, 最小方差估计, 具体定义解释如下 收敛性 估计量依概率收敛到目标参数 \[ \lim _{n \rightarrow \infty} P(|T-\theta|>\varepsilon)=0 \] 无偏估计 sans biais 偏的定义 偏：\(*E(T) − θ*\) 若 \(*E( ...