知乎 - 有问题，就会有答案
为什么传统机器学习，都会用predict表示预测，而深度学习中往往用inference这个词，他们意义有什么不同吗
如何简单易懂地理解变分推断 (variational inference)？
笔者在入门VAE（Variational Autoencoder）的时候，发现几乎所有博客都会提到 变分推断 （Variational Inference）和 ELBO （证据下界，Evidence Lower Bound），但是总是搞不明白具体是什么意思， …
机器学习中Inference 和predict的区别是什么?
Inference in deep learning: More specifically, the trained neural network is put to work out in the digital world using what it has learned — to recognize images, spoken words, a blood disease, predict the …
PyTorch如何量化模型（int8）并使用GPU（训练/Inference）？
或者是否可以通过将PyTorch模型转化成TensorRT进行int8的GPU Inference?
因果推断综述解析|A Survey on Causal Inference (1)
二、正文解析 摘要 首先文章说明了因果推断的重要性，ZZ不再赘述。然后介绍了一下本文的主要内容和贡献： 在本研究中，作者提供了关于“潜在结果框架”的完备介绍，那么这个“潜在结果框架”是一个著 …
神经网络中训练和推理有什么区别？ - 知乎
推断（Inference）可以使用低精度的技术，训练的时候因为要保证前后向传播，每次梯度的更新是很微小的，这个时候需要相对较高的精度，一般来说需要float型，如FP32，32位的浮点型来处理数据，但 …
TensorRT做Inference时报错，cuda memory 泄露的问题如何解决？
CUDA编程入门 1、CUDA核函数嵌套核函数的用法多吗？ 答：这种用法非常少，主要是因为启动一个kernel本身就有一定延迟，会造成执行的不连续性。 2、代码里的 grid/block 对应硬件上的 SM 的关 …
因果推断会是下一个AI热潮吗？ - 知乎
The Causal-Neural Connection: Expressiveness, Learnability, and Inference Kevin M Xia (Columbia University) · Kai-Zhan Lee (Columbia University) · Yoshua Bengio (University of Montreal) · Elias …
如何解决LLM大语言模型的并发问题？ - 知乎
但 GPTQ 能够支持 batch size 8 + max_tokens=2048。 尽管batch inference 情况下，FP16 的速度会快于 GPTQ，但更大的 batch size 支持还是能让 GPTQ 的 throughput 优于 fp16。 部署超大模型时， …
LLM的pad策略，为啥训练时是right，预测是left？ - 知乎
Dec 10, 2024 · 上面这俩在训练时是等效的。 关键还是 padding 方向和 ignore_label 的设置方式要匹配。 position_ids 的影响也不大，目前像 Hugging Face 这种库可以自行处理。如下例中是 batch size 为 2 …