自举

“自举”(Bootstrapping)这个词的本意来自英文谚语”to pull oneself up by one’s bootstraps”, 指的是依靠自身资源或力量来完成原本可能难以独立完成的任务. 在机器学习或模型训练的情境下,“自举”通常意味着系统会利用当前模型或已有结果来进一步改进自身, 不断迭代地提升表现.

举个例子, 在文本生成和筛选(Captioner + Filter)的过程中, Captioner最初可能只能提供比较粗略的描述, 但Filter会根据一定的标准(例如连贯性、准确度、多样性等)对这些描述进行选择或修正, 然后再将更高质量或更合适的描述反馈给Captioner. Captioner会基于这些信息继续改进, 生成更好的描述. 这种循环迭代的过程就是”自举”(Bootstrapping). 通过在每一步都利用先前的成果, 模型可以逐步提高, 即实现”自我提升”.