解决文旅行业博物馆游客痛点的产品原型/作品策划
- 为解决文旅行业博物馆游客痛点,本项目团队已设计并执行《面对文旅行业解决博物馆游客痛点:启动数字化转型的设计思维工作坊》,并产出《Story Museum MRD》文档丶《Story Museum BRD》文档。(含顾客旅程/服务蓝图)
- 为了验证商业可行性/技术可行性/用户可欲性,我们团队产出服务蓝图、用户旅程地图、交互流程图、数据流程图、API代码。
商业可行性/技术可行性/用户可欲性
- Viability 商业可行性:近年来博物馆收入整体呈现震荡上行趋势,该APP产品在后期可通过设置广告栏位以及开设文创产品商城增加收益
- Feasibility 技术可行性:利用百度开放平台的通用物体和场景识别、讯飞在线语音合成以及有道智云语音翻译的API调用作为技术支撑
- Desirability 用户可欲性:用户对于博物馆文物展品信息了解的需求以及对于信息生动化呈现的需求
服务蓝图
用户旅程地图
交互界面流程图
数据流程图
API代码
本产品的API主要采用的是百度开放平台的通用物体和场景识别、讯飞在线语音合成以及百度开放平台通用翻译技术。
API代码调用示例
物体识别(使用百度开放平台通用物体和场景识别)
API调用
接口描述:该请求用于通用物体及场景识别,即对于输入的一张图片(可正常解码,且长宽比适宜),输出图片中的多个物体及场景标签。
请求URL :https://aip.baidubce.com/rest/2.0/image-classify/v2/advanced_general
请求方法:POST
- 获取token
# encoding:utf-8
import requests
# client_id 为官网获取的AK, client_secret 为官网获取的SK
host = 'https://aip.baidubce.com/oauth/2.0/token?grant_type=client_credentials&client_id=【官网获取的AK】&client_secret=【官网获取的SK】'
response = requests.get(host)
if response:
print(response.json())
- 文物识别
# encoding:utf-8
import requests
import base64
'''
通用物体和场景识别
'''
request_url = "https://aip.baidubce.com/rest/2.0/image-classify/v2/advanced_general"
# 二进制方式打开图片文件
f = open('./簪花仕女图.png', 'rb')
img = base64.b64encode(f.read())
params = {"image":img}
access_token = '[调用鉴权接口获取的token]'
request_url = request_url + "?access_token=" + access_token
headers = {'content-type': 'application/x-www-form-urlencoded'}
response = requests.post(request_url, data=params, headers=headers)
if response:
print (response.json())
- 输出内容
{'log_id': 8705286469577267761, 'result_num': 5, 'result': [{'score': 0.823557, 'root': '商品-工艺品', 'keyword': '绘画'}, {'score': 0.578453, 'root': '商品-绘画', 'keyword': '图画'}, {'score': 0.386313, 'root': '非自然图像-彩色动漫', 'keyword': '卡通动漫人物'}, {'score': 0.210961, 'root': '非自然图像-文字图', 'keyword': '报纸杂志'}, {'score': 0.027196, 'root': '人物-人物特写', 'keyword': '美女'}]}
语音合成(使用讯飞开放平台在线语音合成)
API调用
接口描述:该语音能力是通过Websocket API的方式给开发者提供一个通用的接口。Websocket API具备流式传输能力,适用于需要流式数据传输的AI服务场景。相较于SDK,API具有轻量、跨语言的特点;相较于HTTP API,Websocket API协议有原生支持跨域的优势。
请求地址 :ws[s]: //tts-api.xfyun.cn/v2/tts
请求方法:POST
- 语音合成
# -*- coding:utf-8 -*-
#
# author: iflytek
#
# 本demo测试时运行的环境为:Windows + Python3.7
# 本demo测试成功运行时所安装的第三方库及其版本如下:
# cffi==1.12.3
# gevent==1.4.0
# greenlet==0.4.15
# pycparser==2.19
# six==1.12.0
# websocket==0.2.1
# websocket-client==0.56.0
# 合成小语种需要传输小语种文本、使用小语种发音人vcn、tte=unicode以及修改文本编码方式
# 错误码链接:https://www.xfyun.cn/document/error-code (code返回错误码时必看)
# # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # #
import websocket
import datetime
import hashlib
import base64
import hmac
import json
from urllib.parse import urlencode
import time
import ssl
from wsgiref.handlers import format_date_time
from datetime import datetime
from time import mktime
import _thread as thread
import os
STATUS_FIRST_fr ame = 0 # 第一帧的标识
STATUS_CONTINUE_fr ame = 1 # 中间帧标识
STATUS_LAST_fr ame = 2 # 最后一帧的标识
class Ws_Param(ob ject):
# 初始化
def __init__(self, APPID, APIKey, APISecret, Text):
self.APPID = APPID
self.APIKey = APIKey
self.APISecret = APISecret
self.Text = Text
# 公共参数(common)
self.CommonArgs = {"app_id": self.APPID}
# 业务参数(business),更多个性化参数可在官网查看
self.BusinessArgs = {"aue": "raw", "auf": "audio/L16;rate=16000", "vcn": "xiaoyan", "tte": "utf8"}
self.Data = {"status": 2, "text": str(base64.b64encode(self.Text.encode('utf-8')), "UTF8")}
#使用小语种须使用以下方式,此处的unicode指的是 utf16小端的编码方式,即"UTF-16LE"”
#self.Data = {"status": 2, "text": str(base64.b64encode(self.Text.encode('utf-16')), "UTF8")}
# 生成url
def create_url(self):
url = 'wss://tts-api.xfyun.cn/v2/tts'
# 生成RFC1123格式的时间戳
now = datetime.now()
date = format_date_time(mktime(now.timetuple()))
# 拼接字符串
signature_origin = "host: " + "ws-api.xfyun.cn" + "\n"
signature_origin += "date: " + date + "\n"
signature_origin += "GET " + "/v2/tts " + "HTTP/1.1"
# 进行hmac-sha256进行加密
signature_sha = hmac.new(self.APISecret.encode('utf-8'), signature_origin.encode('utf-8'),
digestmod=hashlib.sha256).digest()
signature_sha = base64.b64encode(signature_sha).decode(encoding='utf-8')
authorization_origin = "api_key=\"%s\", algorithm=\"%s\", headers=\"%s\", signature=\"%s\"" % (
self.APIKey, "hmac-sha256", "host date request-line", signature_sha)
authorization = base64.b64encode(authorization_origin.encode('utf-8')).decode(encoding='utf-8')
# 将请求的鉴权参数组合为字典
v = {
"authorization": authorization,
"date": date,
"host": "ws-api.xfyun.cn"
}
# 拼接鉴权参数,生成url
url = url + '?' + urlencode(v)
# print("date: ",date)
# print("v: ",v)
# 此处打印出建立连接时候的url,参考本demo的时候可取消上方打印的注释,比对相同参数时生成的url与自己代码生成的url是否一致
# print('websocket url :', url)
return url
def on_message(ws, message):
try:
message =json.loads(message)
code = message["code"]
sid = message["sid"]
audio = message["data"]["audio"]
audio = base64.b64decode(audio)
status = message["data"]["status"]
print(message)
if status == 2:
print("ws is closed")
ws.close()
if code != 0:
errMsg = message["message"]
print("sid:%s call error:%s code is:%s" % (sid, errMsg, code))
else:
with open('./demo.pcm', 'ab') as f:
f.write(audio)
except Exception as e:
print("receive msg,but parse exception:", e)
# 收到websocket错误的处理
def on_error(ws, error):
print("### error:", error)
# 收到websocket关闭的处理
def on_close(ws):
print("### closed ###")
# 收到websocket连接建立的处理
def on_open(ws):
def run(*args):
d = {"common": wsParam.CommonArgs,
"business": wsParam.BusinessArgs,
"data": wsParam.Data,
}
d = json.dumps(d)
print("------>开始发送文本数据")
ws.send(d)
if os.path.exists('./demo.pcm'):
os.remove('./demo.pcm')
thread.start_new_thread(run, ())
if __name__ == "__main__":
# 测试时候在此处正确填写相关信息即可运行
wsParam = Ws_Param(APPID='输入APPID', APIKey='输入APIKey',
APISecret='输入APISecret',
Text="这是一个语音合成示例")
websocket.enableTrace(False)
wsUrl = wsParam.create_url()
ws = websocket.WebSocketApp(wsUrl, on_message=on_message, on_error=on_error, on_close=on_close)
ws.on_open = on_open
ws.run_forever(sslopt={"cert_reqs": ssl.CERT_NONE})
- 输出内容
{
"code":0,
"message":"success",
"sid":"ttsxxxxxxxxxxx",
"data":{
"audio":"QAfe..........",
"ced":"14",
"status":2
}
}
API使用风险评估
可能出现的错误及处理方法:
- 百度通用物体和场景识别技术暂时对于一些文物可能识别不出:1.需要扩大文物图片数据库,继续训练强化机器学习2.在APP无法识别出该文物时提醒用户反馈缺失的文物数据,以方便后期扩大完善数据库。3.在用户拍照识别的过程中也收集用户所上传的图片数据信息。
- 百度通用物体和场景识别技术还无法实现返回文物故事这一功能:可以先完成文物故事数据库,再进行数据库与该API技术的连接。