架构设计：文件服务的设计与实现

事件实现

事件串联了整个上传流程：

• 文件上传，触发UploadEvent
• UploadListener监听到UploadEvent，委托各个Converter进行文件处理
• 转换完成后触发ConvertEvent
• ConvertListener监听到ConvertEvent后，进行转换后的信息处理

由于目前大部分是内部事件，故使用Spring事件来处理，代码逻辑如下：

// 配置线程池，Spring默认线程池没有设置大小，如果出现阻塞，可能会出现OOM@Bean("eventThread")
 public TaskExecutor taskExecutor() {
 ThreadPoolTaskExecutor executor = new ThreadPoolTaskExecutor();
 // 设置核心线程数，转换是个很耗时的过程，所以直接排队执行
 executor.setCorePoolSize(1);
 // 设置最大线程数
 executor.setMaxPoolSize(1);
 // 设置队列容量
 executor.setQueueCapacity(100);
 // 设置线程活跃时间（秒）
 executor.setKeepAliveSeconds(60);
 // 设置默认线程名称
 executor.setThreadNamePrefix("eventThread-");
 // 设置拒绝策略
 executor.setRejectedExecutionHandler(new ThreadPoolExecutor.CallerRunsPolicy());
 // 等待所有任务结束后再关闭线程池
 executor.setWaitForTasksToCompleteOnShutdown(true);
 return executor;
 }
/**
 * 内部消息总线
 */@Service@EnableAsyncpublic class EventBus implements ApplicationEventPublisherAware {
 private ApplicationEventPublisher publisher;
 @Override
 public void setApplicationEventPublisher(ApplicationEventPublisher applicationEventPublisher) {
 this.publisher = applicationEventPublisher;
 }
 public void add(ApplicationEvent event) {
 publisher.publishEvent(event);
 }
}
// 事件类public class UploadEvent extends ApplicationEvent {
 public UploadEvent(Object source) {
 super(source);
 }
}
public class ConvertEvent extends ApplicationEvent {
 public ConvertEvent(Object source) {
 super(source);
 }
}
// 监听类@Componentpublic class UploadListener {
 @EventListener
 @Async("eventThread") // 使用自定义的线程池
 public void process(UploadEvent event) {
 }
}
@Componentpublic class ConvertListener {
 @EventListener
 @Async("eventThread")
 public void process(ConvertEvent event) {
 }
}

配置管理实现

为了提高文件服务器的灵活性，对于转换逻辑可进行配置。如果没有进行相应的配置，则不会进行对应的处理。

下面的四个类是对各个文件类型的配置：

• ImageConfig：切图大小
• OfficeConfig：转换类型，是否获取页码
• PdfConfig：转换类型，是否获取页码
• VideoConfig：转换类型，是否获取长度，是否取帧

对应的Respository是对其保存与恢复的仓储类：

• ImageConfigRespository
• OfficeConfigRespository
• PdfConfigRespository
• VideoConfigRespository

此处基于属性配置来实现（原因请见「技术选型」）！以VideoConfigRespository为例：

@Configuration@ConfigurationProperties(prefix = "fileupload.config")
public class VideoConfigRespository {
 private List<VideoConfig> videoConfigList;
 /**
 * 根据分组(系统)找到对应的视频配置
 *
 * @param group
 * @return
 */
 public List<VideoConfig> find(String group) {
 if (videoConfigList == null) {
 return new ArrayList<>();
 } else {
 return videoConfigList.stream().filter(it -> it.getGroup().equals(group)).collect(Collectors.toList());
 }
 }
 public List<VideoConfig> getVideoConfigList() {
 return videoConfigList;
 }
 public void setVideoConfigList(List<VideoConfig> videoConfigList) {
 this.videoConfigList = videoConfigList;
 }
}

通过Spring的ConfigurationProperties注解，将属性文件中的属性配置到videoConfigList中。

# 视频配置
fileupload.config.videoConfigList[0].group=GROUP1 
# 默认配置
fileupload.config.videoConfigList[1].group=GROUP2
fileupload.config.videoConfigList[1].type=webm 
 # 转换为webm
fileupload.config.videoConfigList[1].frameSecondList[0]=3 # 取第3秒的图片

转换结果实现

转换结果通过ConvertResult和ConvertFileInfo表示：

• ConvertResult中包含了源文件信息，以及多个转换结果。ConvertFileInfo表示一个转换结果
• ConvertResult是Entity而ConvertFileInfo是VO
• ConvertResult与ConvertFileInfo是一对多的关系
• 两者构成聚合，其中ConvertResult是聚合根(关于聚合与聚合根请参考领域设计：聚合与聚合根)

ConvertResultRespository是这个聚合的仓储，用于保存与恢复此聚合。此处没有使用数据库，而是直接使用的文本形式保存（原因见「技术选型」）。

@Componentpublic class ConvertResultRespository {
 ......
 /**
 * 保存转换结果
 *
 * @param result
 * @return
 */
 public void save(ConvertResult result) {
 Path savePath = Paths.get(tokenPath, result.getToken());
 try {
 if(!Files.exists(savePath.getParent())) {
 Files.createDirectories(savePath.getParent());
 }
 Files.write(savePath, gson.toJson(result).getBytes(UTF8_CHARSET));
 } catch (IOException e) {
 logger.error("save ConvertResult[{}} error!", result, e);
 }
 }
 /**
 * 查找转换结果
 *
 * @param token
 * @return
 */
 public ConvertResult find(String token) {
 Path findPath = Paths.get(tokenPath, token);
 try {
 if (Files.exists(findPath)) {
 String result = new String(Files.readAllBytes(findPath), UTF8_CHARSET);
 return gson.fromJson(result, ConvertResult.class);
 }
 } catch (IOException e) {
 logger.error("find ConvertResult by token[{}} error!", token, e);
 }
 return null;
 }
}

转换服务实现

转换服务根据配置委托对应的工具类来进行相应的操作（代码略）：

• 使用ffmpeg转换视频
• 使用pdfbox转换pdf
• 使用libreoffice转换office

安全实现

• 安全通过Spring拦截器实现
• 按需求增加对应拦截即可

使用

提供两个接口：

/**
* 获取转换后的信息
*/@ResponseBody@GetMapping(value = "/realUrl/{token}")
public ResponseEntity realUrl(@PathVariable String token) {
 .....
}
/**
* 上传文件
*/@ResponseBody@PostMapping(value = {"/partupload/{group}"})
public ResponseEntity upload(HttpServletRequest request, @PathVariable String group) {
 .....
}

• 通过upload接口上传文件，支持分片上传
• 上传完成后，会返回上传结果，结构如下：

{
 "code": 1,
 "message": "maps.mp4",
 "token": "key_286400710002612",
 "group": "GROUP1",
 "fileType": "VIDEO",
 "filePath": "http://www.abc.com/1556172522968_maps.mp4"
}

• 其中的filePath是原始文件路径
• 通过token，使用realUrl接口可以获取转换后的文件信息，结构如下：

{
 "token": "key_282816586380196",
 "group": "SHILU",
 "fileType": "IMAGE",
 "filePath": "http://www.abc.com/SHILU/1/1556164891252_0.jpeg",
 "convertFileInfoList": [
 {
 "fileLength": 0,
 "fileType": "IMAGE",
 "filePath": null,
 "imgPaths": [
 "http://www.abc.com/SHILU/1/1556164891252_0_100_200.jpeg"
 ]
 }
 ]
}

配置

## 对外提供服务的域名
fileupload.server.name=http://www.abc.com## libreoffice home路径
office.home=/snap/libreoffice/115/lib/libreoffice
# 文件上传保存路径
fileupload.upload.root=/home/files
# 文件服务器动态配置# 图片配置，切100*200的图fileupload.config.imageConfigList[0].group=group1
fileupload.config.imageConfigList[0].width=100
fileupload.config.imageConfigList[0].height=200
# 视频配置
# 默认配置，转换m3u8
fileupload.config.videoConfigList[0].group=group1
# 转换webm，切第3秒的图
fileupload.config.videoConfigList[1].group=group2
fileupload.config.videoConfigList[1].type=webm
fileupload.config.videoConfigList[1].frameSecondList[0]=3
# office配置，默认转png
fileupload.config.officeConfigList[0].group=group1
# 转PDF
fileupload.config.officeConfigList[0].type=PDF
# pdf配置，转png
fileupload.config.pdfConfigList[0].group=group1
# 上传文件大小，当前端不支持分片上传时设置
spring.servlet.multipart.max-file-size=1024MB
spring.servlet.multipart.max-request-size=1024MB

总结

本文给出了一个文件服务相对完整的架构设计与实现过程。整个架构设计流程如下：

• 梳理业务功能
• 梳理用例流程
• 基于业务功能，进行初步的模块划分
• 结合用例流程进行架构设计，期间可能反过来对模块及流程进行调整
• 对架构进行验证
• 业务流程验证：将用例套用到架构中进行验证
• 非功能性约束验证：模拟非功能性约束场景进行验证
• 技术选型（架构设计是与技术无关的）
• 遵循架构设计实现代码，测试（可能调整架构）
• 完整流程验证，使用说明

整个过程对各个约束做出了对应的决策，并进行了验证。代码结构与架构设计完全匹配。从架构设计图依图索骥即可理解代码逻辑。