memoscan
← all memos

Memo 0x38ff23ff…26bd23 on Ethereum

我不知道对不对,因为我如今记忆力很差,学了就忘,我根本就不学不明白当前前沿大模型复杂的架构,如果我有足够的钱我会做什么?我会把目前开源的足够强大的复杂模型蒸馏到简单架构的直觉网络中,让它就是仅仅根据工作记忆中的文字(或者一些总结出来的概念)的直觉吐字,然后做一些事实库来缓存类似长期记忆和工作记忆,不过这些事实库完全和网络本体无关,是推理时候用来提供上下文和辨别或者验证推理优质与否的,然后让两个架构互相评价自己的输出,决定在某个时刻用优质的输出,调整参数自己进化,以及反复回看,不断地修改自己写出来的东西,就跟我写文章的时候差不多,我就是先根据直觉随便写,再回头根据逻辑推理慢慢改,感觉写出一篇不错的文章或者笔记了就发出来,然后这篇文章或者笔记之后再反复回看复习,变得越来越重要。不过AI本身一定要做到很严谨,不能就是还不确定对不对就当作重要内容来训练自己了,当然,有的时候也是需要在不确定对不对的时候探索一下的,这可能就需要类似AlphaZero算法的用武之地了。最终可能还是需要数学验证器,我不知道了。这些内容是很早很早就知道的,可能高中时候就有想这些东西,我在23年11月被打脑震荡后写的的那篇文章我就是隐含的这些意思,不过我一直没有说清楚,之前还被AI和知乎推送,引导写什么“范畴论”“超图”“不变量”,我当时觉得“超图”这个词我没听说过,太牛逼了,后来我才知道有可能他们是在骗我的。