旗亭涉的博客 | Qitingshe Blog

大语言模型LLMs介绍

由GPT引发的AIGC新趋势

似乎自从Transformer架构问世之后，NLP领域就进入了一个全新的发展阶段，新的技术突破层出不穷。只是我没有想到像ChatGPT这样的产物能够如此之快的出现在我们的生活中，并在可见的未来对我们的生活产生深远意义的影响。从Transformer到GPT 涉及到的概念： - MHA（Multi-Head Attention）：多头注意力机制 - PLM（Pre-trained La...

Posted by QITINGSHE on April 19, 2023

Diffusion模型介绍

概率生成模型

最近在阅读Diffusion模型，发现这真是一个非常有趣的方向，利用预测概率分布的方式进行生成任务，相比较以往确定性任务而言，这种方式天然具有随机性，有着天马行空的想象力，当我们需要进行更加精确的生成时，只需要增加条件约束就可以了，比如增加文本约束，线稿信息约束等。通过添加约束不断缩小其预测空间，但是无论增加多少约束，其随机性总是无法消除掉，从某种程度上讲，我们可以对它生成的结果抱有期待。谁...

Posted by QITINGSHE on March 22, 2023

如何使用VSCode进行C++开发

利用Docker镜像快速构建C++开发环境

我真正意义上开始接触计算机是在大学的时候，在此之前我几乎完全不了解计算机的操作流程，甚至也不了解互联网的使用方法。阴差阳错地进入了计算机相关的专业，开始学习编程，这对我来说是一件新奇但又具有重大挑战的事情。当讲台上的老师向我讲诉如何编写运行第一个Hello World程序时，这里面的运行机制实在隐藏太深，以致我过了很久依然以为编写程序只能在vc6.0这样的软件上进行，更不论配置环境时那些操作...

Posted by QITINGSHE on March 14, 2023

深度模型中的本征维度

本征维度，模型微调

时隔五年，又重新捡起了博客记录，本次介绍一下[2012.13255] Intrinsic Dimensionality Explains the Effectiveness of Language Model Fine-Tuning (arxiv.org)。最近一段时间各种大模型层出不穷，不乏有着像Stable Diffusion和ChatGPT这样火出圈外的。大模型的流行，也给下游任务...

Posted by QITINGSHE on March 9, 2023

渐进式神经架构搜索

Progressive Neural Architecture Search

论文工作本文提出学习CNN结构的新方法，相比于现在的强化学习和遗传算法，它更有效率。本文采用序列模型优化SMBO（sequential model-based optimization）策略，按复杂度增大的顺序来搜索架构，同时还学习一个代理模型来引导在结构空间的搜索行为。和最新的RL方法相比效率要高5倍，学习到的结构在CIFAR-10和ImageNet上可以达到当前最好。本文主要采用...

Posted by QITINGSHE on September 10, 2018

Convolutional Networks with Adaptive Inference Graphs

自适应推理图

在经过一些层后，卷积神经网络已经具有识别高阶概念的能力。假设高层网络具有某些特定功能，如：分辨鸟类，当输入一张图片，如果网络已经分辨出图片包含一只鸟，那网络可以直接进入负责分类鸟儿的层，跳过中间一些无关层，直观的讲，网络知道的越多，它就能够越好的决定下一步应该交由哪一层来计算。有点像决策树，选择最有价值的特征信息来进行计算。之前有人研究resnet发现，几乎任何一个独立的layer都可以...

Posted by QITINGSHE on September 8, 2018

TPOT

基于遗传规划的自动机器学习

简介随着数据科学的发展，希望降低机器学习门槛的需求逐渐增长。本文介绍了基于树表示的工作流优化，可以将机器学习中乏味的部分自动化。我们称之为TPOT，TPOT可以在无人为输入和先验知识的情况下显著提高基本的机器学习分析，同时为解决可能产生的使工作流复杂化的倾向，这里同时引入Pareto优化，这样可以在保持准确率不降低的条件下生成一个紧凑的工作流。完整的机器学习(特别是监督式机器学习)工...

Posted by QITINGSHE on July 2, 2018

体系结构模式

软件设计

体系结构模式体系结构模式是模式系统中的最高等级模式，有助于明确一个应用的基本结构一共分为八种模式：层管道和过滤器处理数据流的的系统黑板无确定性求解策略的问题代理者模型-视图-控制器表示-抽象-控制微核映像层应用可以分解为子任务组...

Posted by QITINGSHE on June 27, 2018

设计模总结

Design Patterns

概述要点明确何时使用何种模式理解设计的组成成分以及成分之间的相互关系，各自职责、协作方式模式的效果及使用模式应权衡的问题设计模式的抽象层次定义：对被用来在特定场景下解决一般设计问题的类和相互通信的对象的描述主要是解决对象之间的交互问题创建型模式抽象实例化的过程，将关于当前系统的使用那些具体的类的信息封装起来，隐藏了这些类的实例是如何被创建和组建...

Posted by QITINGSHE on June 25, 2018

双边滤波

图像处理

双边滤波保边滤波保边滤波器(Edge Preserving Filter)：指在滤波过程中能够有效的保留图像中的边缘信息的一类特殊滤波器常用保边滤波器：双边滤波器（Bilateral filter）引导滤波器（Guided image filter）加权最小二乘法滤波器（Weighted least square filter）双边滤波器 Bilate...

Posted by QITINGSHE on June 14, 2018

QITINGSHE