Проблема есть, она давно существует и давно описана.

Докер, особенно на сложных системах контейнеров, на MacOs работает намного медленнее, чем на нативном Linux, это факт. Можно ознакомится с бенчмарками, на вскидку Google выдает 1 2

Мониторю состояние проблемы я по вот этой задаче на гитхабе.

Начиная с 17.04 CE Edge onwards появились новые флаги для выполнения docker run -v позволяющие управлять степенью синхронности примонтированного волума:

Команда Docker для Mac планирует выпустить улучшенную реализацию делегированных в будущем, чтобы ускорить работу с большими объемами записи.

На текущий момент есть два решения, в случае если :cached не решает вопроса:

Я пользовался вторым из решений, оно действительно быстрое(было до последнего обновления пару дней назад) - сейчас проблема в первом запуске при развертывании - первичное копирование с хост-машины внутрь контейнера проходит достаточно долго в приложении на symfony3 (связано с значительным объемом папки vendor)