108 lines
3.5 KiB
TypeScript
108 lines
3.5 KiB
TypeScript
|
/**
|
|||
|
|
* 测试脚本：按章分块服务
|
|||
|
|
*
|
|||
|
|
* 用法：
|
|||
|
|
* npx ts-node scripts/test-structure-chunking.ts [文件路径]
|
|||
|
|
*/
|
|||
|
|
|
|||
|
|
import fs from 'fs';
|
|||
|
|
import path from 'path';
|
|||
|
|
import { structureChunkingService } from '../src/services/structureChunkingService';
|
|||
|
|
|
|||
|
|
// 测试文本：多章节
|
|||
|
|
const TEST_TEXT_CHAPTERS = `
|
|||
|
|
第一章 绪论
|
|||
|
|
|
|||
|
|
人工智能（Artificial Intelligence，AI）是计算机科学的一个分支，
|
|||
|
|
它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。
|
|||
|
|
|
|||
|
|
人工智能的发展可以追溯到20世纪50年代。1956年，在达特茅斯会议上，
|
|||
|
|
"人工智能"这一术语首次被提出。
|
|||
|
|
|
|||
|
|
第二章 机器学习基础
|
|||
|
|
|
|||
|
|
监督学习是机器学习的一种方法，其中训练数据既包含输入数据，也包含期望的输出结果。
|
|||
|
|
模型通过学习输入和输出之间的映射关系来进行预测。
|
|||
|
|
|
|||
|
|
无监督学习是另一种机器学习方法，训练数据只包含输入数据，没有对应的输出标签。
|
|||
|
|
模型需要自己发现数据中的结构和模式。
|
|||
|
|
|
|||
|
|
第 3 章 深度学习
|
|||
|
|
|
|||
|
|
深度学习是机器学习的一个子领域，使用多层神经网络来学习数据的层次化表示。
|
|||
|
|
卷积神经网络（CNN）特别适合处理图像数据，而循环神经网络（RNN）则适合处理序列数据。
|
|||
|
|
`;
|
|||
|
|
|
|||
|
|
// 测试文本：无章节结构
|
|||
|
|
const TEST_TEXT_NO_STRUCTURE = `
|
|||
|
|
这是一段没有明确结构的文本。
|
|||
|
|
|
|||
|
|
它只是一些段落的集合，没有章节标题，也没有编号。
|
|||
|
|
|
|||
|
|
用户可能会上传这样的文本，我们需要能够处理它。
|
|||
|
|
`;
|
|||
|
|
|
|||
|
|
async function main() {
|
|||
|
|
console.log('='.repeat(60));
|
|||
|
|
console.log('按章分块服务测试');
|
|||
|
|
console.log('='.repeat(60));
|
|||
|
|
console.log();
|
|||
|
|
|
|||
|
|
const filePath = process.argv[2];
|
|||
|
|
let testTexts: { name: string; text: string }[] = [];
|
|||
|
|
|
|||
|
|
if (filePath) {
|
|||
|
|
const absolutePath = path.resolve(filePath);
|
|||
|
|
if (!fs.existsSync(absolutePath)) {
|
|||
|
|
console.error(`错误：文件不存在 - ${absolutePath}`);
|
|||
|
|
process.exit(1);
|
|||
|
|
}
|
|||
|
|
const fileContent = fs.readFileSync(absolutePath, 'utf-8');
|
|||
|
|
testTexts.push({ name: `文件: ${path.basename(filePath)}`, text: fileContent });
|
|||
|
|
} else {
|
|||
|
|
testTexts = [
|
|||
|
|
{ name: '多章节', text: TEST_TEXT_CHAPTERS },
|
|||
|
|
{ name: '无结构', text: TEST_TEXT_NO_STRUCTURE },
|
|||
|
|
];
|
|||
|
|
}
|
|||
|
|
|
|||
|
|
for (const { name, text } of testTexts) {
|
|||
|
|
console.log('-'.repeat(60));
|
|||
|
|
console.log(`测试: ${name}`);
|
|||
|
|
console.log(`输入长度: ${text.length} 字符`);
|
|||
|
|
console.log('-'.repeat(60));
|
|||
|
|
|
|||
|
|
const startTime = Date.now();
|
|||
|
|
const result = await structureChunkingService.parseAsync(text);
|
|||
|
|
const duration = Date.now() - startTime;
|
|||
|
|
|
|||
|
|
console.log(`成功: ${result.success}`);
|
|||
|
|
console.log(`模式: ${result.pattern || '无'}`);
|
|||
|
|
console.log(`分块数: ${result.chunks.length}`);
|
|||
|
|
console.log(`字符数: ${result.totalCharacters}`);
|
|||
|
|
console.log(`耗时: ${duration}ms`);
|
|||
|
|
console.log();
|
|||
|
|
|
|||
|
|
if (result.chunks.length > 0) {
|
|||
|
|
console.log('分块详情:');
|
|||
|
|
for (const chunk of result.chunks) {
|
|||
|
|
const preview = chunk.content.substring(0, 50).replace(/\n/g, ' ');
|
|||
|
|
console.log(` [${chunk.order + 1}] ${chunk.title}`);
|
|||
|
|
console.log(` ${preview}${chunk.content.length > 50 ? '...' : ''} (${chunk.content.length} 字符)`);
|
|||
|
|
}
|
|||
|
|
} else {
|
|||
|
|
console.log('未检测到章级结构');
|
|||
|
|
}
|
|||
|
|
console.log();
|
|||
|
|
}
|
|||
|
|
|
|||
|
|
console.log('='.repeat(60));
|
|||
|
|
console.log('测试完成');
|
|||
|
|
console.log('='.repeat(60));
|
|||
|
|
}
|
|||
|
|
|
|||
|
|
main().catch((err) => {
|
|||
|
|
console.error('测试失败:', err);
|
|||
|
|
process.exit(1);
|
|||
|
|
});
|