【摘要】走进AI编程 AI是如何理解和生成代码的？ token化：AI不像人一样一个字一个字的读代码，而是把文本切成一个个小块，叫做token。 例如，Hello World 会被切成 Hello 和 World 两个 Token。中文的 你好世界 可能被切成 你好 和 世界 两个 Token，也可能被切成 阅读全文