当前位置：首页 > news >正文

网站改版301是什么意思基础网站开发

news 2025/9/30 16:24:19

网站改版301是什么意思,基础网站开发,个人网站做博客还是做论坛,济南住建局官方网站1. BERT 3亿参数 30亿个词在输入和loss上有创新两个句子拼起来放到encoder–句子对 cls-class分类 sep-seperate 分隔符分开每个句子告诉是哪个句子两个句子给不同的向量位置编码不用sin cos， 让网络自己学习 bert–通用任务 encoder 是双向的，…

1. BERT

在这里插入图片描述

3亿参数 30亿个词

在输入和loss上有创新
两个句子拼起来放到encoder–句子对
cls-class分类
sep-seperate 分隔符分开每个句子告诉是哪个句子两个句子给不同的向量
位置编码不用sin cos，让网络自己学习
在这里插入图片描述

bert–通用任务
encoder 是双向的，两个方向的信息都可以看到
预测mask是谁。
改动：让模型在做微调的时候不要看到mask就做预测

在这里插入图片描述

4. QA

在这里插入图片描述
1 对每个词每个token 学习一个固定长度的向量
2 bert 用一个词段做向量表示
3 15% 中的10%
4 大量用在cv上，图片可以扣很多小块出来，是有空间关系的，模拟语言模型的关系
6 用小一点的bert模型；多用几个卡；每个gpu存一部分的模型。
7 gpt等预训练任务本身都会有改进
8 bert之后的论文
在这里插入图片描述