使用 Crawl4AI 为 Amazon Bedrock Knowledge Bases 准备网页内容

开源 Python 爬虫 Crawl4AI 可用于为 Amazon Bedrock Knowledge Bases 预处理网页内容，以提升 RAG 应用的数据摄取质量。该方案通过提取结构化 Markdown 和自定义元数据，去除导航等样板内容后上传至 Amazon S3。随后 Bedrock 自动完成文档解析、分块、嵌入向量生成与向量检索索引构建。